如何修改spark资源上传目录?

yarn.Client: Uploading resource file:/tmp/spark-6947d690-9749-43bd-8d9a-e14e8ccc1138/__spark_libs__3170539481839891703.zip -> hdfs://node4:9000/user/root/.sparkStaging/application_1623053077163_0001/__spark_libs__3170539481839891703.zip

如上一段SPARK日志输出,请问如何修改上传的目录,也就是 将​​hdfs://node4:9000/user/root/...​​目录修改为其他目录

spark
2023-08-29 14:14:40
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
尾尾小鱼

在 ​spark-defaults.conf​ 里设置属性 ​spark.yarn.stagingDir​

分享
微博
QQ
微信
回复
2023-08-29 16:15:10
相关问题
HarmonyOS 资源拆分目录
213浏览 • 1回复 待解决
在OceanBase中,如何修改资源限制?
3220浏览 • 1回复 待解决
如何动态访问media目录下的资源
2406浏览 • 1回复 待解决
HarmonyOS 文件上传 & 资源读取问题
882浏览 • 1回复 待解决
spark Dataset<Row>如何按行获取数据?
2381浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
2605浏览 • 0回复 待解决
canvas怎么绘制资源目录下的图片
930浏览 • 1回复 待解决
HarmonyOS 获取资源目录下的绝对路径
255浏览 • 1回复 待解决
资源目录下的文件到沙箱的单向流动
1283浏览 • 1回复 待解决