spark Dataset<Row>如何按行获取数据?

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取

看到limit(n)方法也只能获取前n的数据

spark
2023-08-24 14:10:43
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
轻薄滴假象

使用foreachParttition可以遍历


分享
微博
QQ
微信
回复
2023-08-24 16:35:13
相关问题
如何修改spark资源上传目录?
335浏览 • 1回复 待解决
spark 分布式写数据到oracle
357浏览 • 1回复 待解决
PolarDB 的如何写入块?
926浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮下动效
6572浏览 • 3回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
621浏览 • 0回复 待解决
PolarDB 的如何从块中读?
699浏览 • 1回复 待解决
docker 查询日志如何只显示最近 10 ?
1086浏览 • 1回复 待解决
如何实现页面加载前从接口获取数据
122浏览 • 1回复 待解决
业务模块HAR如何获取宿主HAP的数据
118浏览 • 1回复 待解决
SQL插入一个数据时,如何获取ID?
1073浏览 • 2回复 待解决
spark 只分配2个executor,什么原因?
401浏览 • 1回复 待解决
ArkTS写法是否可以TS/JS的逻辑理解
77浏览 • 1回复 待解决
linux排除带空行和#开头的
3167浏览 • 1回复 待解决
JSUI按钮 toolbar的下背景色怎么去掉
3289浏览 • 1回复 待解决
h3861编译出现问题197
4230浏览 • 1回复 待解决
数据表日志详情怎么获取好呢?
1391浏览 • 1回复 待解决