spark Dataset<Row>如何按行获取数据?

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取

看到limit(n)方法也只能获取前n的数据

spark
2023-08-24 14:10:43
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
轻薄滴假象

使用foreachParttition可以遍历


分享
微博
QQ
微信
回复
2023-08-24 16:35:13
相关问题
spark 分布式写数据到oracle
3173浏览 • 1回复 待解决
如何修改spark资源上传目录?
2887浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
3410浏览 • 1回复 待解决
HarmonyOS 布局如何比例分配
828浏览 • 1回复 待解决
HarmonyOS row中的子控件超出了row的范围
1566浏览 • 1回复 待解决
HarmonyOS 如何比例设置控件高度?
712浏览 • 0回复 待解决
HarmonyOS 如何比例设置控件高度
1379浏览 • 1回复 待解决
HarmonyOS 字体高应该如何设置
741浏览 • 1回复 待解决
PolarDB 的如何写入块?
3770浏览 • 1回复 待解决
如何对文本实现首缩进?
1020浏览 • 1回复 待解决
spark 只分配2个executor,什么原因?
2902浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮下动效
9714浏览 • 3回复 待解决