如何修改spark资源上传目录?

yarn.Client: Uploading resource file:/tmp/spark-6947d690-9749-43bd-8d9a-e14e8ccc1138/__spark_libs__3170539481839891703.zip -> hdfs://node4:9000/user/root/.sparkStaging/application_1623053077163_0001/__spark_libs__3170539481839891703.zip

如上一段SPARK日志输出,请问如何修改上传的目录,也就是 将​​hdfs://node4:9000/user/root/...​​目录修改为其他目录

spark
2023-08-29 14:14:40
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
尾尾小鱼

在 ​spark-defaults.conf​ 里设置属性 ​spark.yarn.stagingDir​

分享
微博
QQ
微信
回复
2023-08-29 16:15:10
相关问题
在OceanBase中,如何修改资源限制?
964浏览 • 1回复 待解决
如何通过资源ID拿到对应资源
4961浏览 • 3回复 待解决
如何动态根据资源名获取资源id
6077浏览 • 1回复 已解决
spark Dataset<Row>如何按行获取数据?
154浏览 • 1回复 待解决
mysql 如何批量修改
725浏览 • 1回复 待解决
如何修改OceanBase 集群参数?
2008浏览 • 1回复 待解决
鸿蒙如何读取resources目录下的文件
421浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
122浏览 • 0回复 待解决
java如何引用resources资源获得value?
2323浏览 • 1回复 待解决
如何修改DevEco颜色主题?
6757浏览 • 3回复 已解决
Iamge组件如何加载Graphic的资源图片?
4769浏览 • 1回复 待解决
鸿蒙图片资源在Java代码中如何使用
5913浏览 • 1回复 待解决
鸿蒙如何获取资源文件种的路径
12686浏览 • 3回复 待解决
CentOS7如何修改时区?
1475浏览 • 1回复 待解决
如何通过代码随意修改锁屏图片?
3230浏览 • 1回复 待解决
怎么实现后台上传图片?
267浏览 • 1回复 待解决
移植鸿蒙中断向量表如何修改
4560浏览 • 2回复 待解决
text内容如何实时获取并添加修改?
881浏览 • 1回复 待解决
Deveco studio中如何修改java文件的名称
2892浏览 • 3回复 待解决