spark Dataset<Row>如何按行获取数据?

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取

看到limit(n)方法也只能获取前n的数据

spark
2023-08-24 14:10:43
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
轻薄滴假象

使用foreachParttition可以遍历


分享
微博
QQ
微信
回复
2023-08-24 16:35:13
相关问题
spark 分布式写数据到oracle
1967浏览 • 1回复 待解决
如何修改spark资源上传目录?
2027浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
2310浏览 • 0回复 待解决
spark 只分配2个executor,什么原因?
2068浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮下动效
8588浏览 • 3回复 待解决
如何对文本实现首缩进?
383浏览 • 1回复 待解决
HarmonyOS 如何比例设置控件高度
547浏览 • 1回复 待解决
PolarDB 的如何写入块?
2998浏览 • 1回复 待解决
HarmonyOS 字体高应该如何设置
53浏览 • 1回复 待解决
PolarDB 的如何从块中读?
2311浏览 • 1回复 待解决
HarmonyOS TextArea如何设置单行的高?
286浏览 • 1回复 待解决