spark Dataset<Row>如何按行获取数据?

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取

看到limit(n)方法也只能获取前n的数据

spark
2023-08-24 14:10:43
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
轻薄滴假象

使用foreachParttition可以遍历


分享
微博
QQ
微信
回复
2023-08-24 16:35:13
相关问题
spark 分布式写数据到oracle
175浏览 • 1回复 待解决
如何修改spark资源上传目录?
160浏览 • 1回复 待解决
PolarDB 的如何写入块?
700浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮下动效
6245浏览 • 3回复 待解决
PolarDB 的如何从块中读?
513浏览 • 1回复 待解决
docker 查询日志如何只显示最近 10 ?
806浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
122浏览 • 0回复 待解决
SQL插入一个数据时,如何获取ID?
839浏览 • 2回复 待解决
spark 只分配2个executor,什么原因?
183浏览 • 1回复 待解决
linux排除带空行和#开头的
2907浏览 • 1回复 待解决
数据表日志详情怎么获取好呢?
1049浏览 • 1回复 待解决
h3861编译出现问题197
3855浏览 • 1回复 待解决
JSUI按钮 toolbar的下背景色怎么去掉
3102浏览 • 1回复 待解决
关于鸿蒙系统gnss原始数据获取?
1377浏览 • 1回复 待解决
Scrapy 获取不到拉勾网指定的xpath数据
2351浏览 • 0回复 待解决