如何修改spark资源上传目录?

yarn.Client: Uploading resource file:/tmp/spark-6947d690-9749-43bd-8d9a-e14e8ccc1138/__spark_libs__3170539481839891703.zip -> hdfs://node4:9000/user/root/.sparkStaging/application_1623053077163_0001/__spark_libs__3170539481839891703.zip

如上一段SPARK日志输出,请问如何修改上传的目录,也就是 将​​hdfs://node4:9000/user/root/...​​目录修改为其他目录

spark
2023-08-29 14:14:40
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
尾尾小鱼

在 ​spark-defaults.conf​ 里设置属性 ​spark.yarn.stagingDir​

分享
微博
QQ
微信
回复
2023-08-29 16:15:10
相关问题
如何动态访问media目录下的资源
209浏览 • 1回复 待解决
在OceanBase中,如何修改资源限制?
1280浏览 • 1回复 待解决
spark Dataset<Row>如何按行获取数据?
650浏览 • 1回复 待解决
如何动态根据资源名获取资源id
6646浏览 • 1回复 已解决
如何通过资源ID拿到对应资源
5441浏览 • 3回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
748浏览 • 0回复 待解决
mysql 如何批量修改
1047浏览 • 1回复 待解决
如何修改OceanBase 集群参数?
2383浏览 • 1回复 待解决
鸿蒙如何读取resources目录下的文件
1187浏览 • 1回复 待解决
如何引用非本地目录的HSP
175浏览 • 1回复 待解决
如何获取HSP的资源文件
238浏览 • 1回复 待解决
java如何引用resources资源获得value?
2769浏览 • 1回复 待解决
如何修改DevEco颜色主题?
7485浏览 • 3回复 已解决
如何减轻icon资源锯齿感
198浏览 • 1回复 待解决
spark 分布式写数据到oracle
446浏览 • 1回复 待解决
如何获取当前应用程序缓存目录
202浏览 • 1回复 待解决
如何监听文件或文件目录的变化
112浏览 • 1回复 待解决