博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark优化之临时目录
阅读量:6950 次
发布时间:2019-06-27

本文共 551 字,大约阅读时间需要 1 分钟。

官方是这样说的:

Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk. This should be on a fast, local disk in your system. It can also be a comma-separated list of multiple directories on different disks. NOTE: In Spark 1.0 and later this will be overriden by SPARK_LOCAL_DIRS (Standalone, Mesos) or LOCAL_DIRS (YARN) environment variables set by the cluster manager.

大概就是MAP和RDD的临时数据可能存放在spark.local.dir(SPARK_LOCAL_DIRS)指定的目录中,默认是在/tmp中。

该目录的磁盘一定是快速的本地磁盘系统,我们可以考虑把这个目录来单独放成一个磁盘,或者以都好隔开放入多个磁盘,来提高i/o读写速度

转载地址:http://lskil.baihongyu.com/

你可能感兴趣的文章
事件代理
查看>>
[Influxdb]记录
查看>>
图的最小生成树(普利姆prim算法)
查看>>
干货:实现数据可视化的几个工具选择(工具+编程语言)
查看>>
分享职场心得《10》
查看>>
NYoj 685 查找字符串
查看>>
noip普及组2018T2 龙虎斗
查看>>
sql 事物以及回滚
查看>>
drawrect&layoutsubviews
查看>>
程序中如何获取Android的Root权限
查看>>
算法策略的总结
查看>>
[转]Core Audio
查看>>
UIScrollView的属性总结
查看>>
unicode 和utf-8,GBK编码
查看>>
php 设置模式 单元素模式(单例模式或单件模式)
查看>>
Linux下升级python版本
查看>>
正则表达式全集
查看>>
iOS开发小技巧--修改按钮内部图片和文字之间的间距(xib)
查看>>
[转]原始套接字编程
查看>>
经典海量jQuery插件
查看>>