spark Dataset<Row>如何按行获取数据？
需求：要把spark的数据转为json数据，collectAsLIst()返回LIst，但是如果数据量太大，内存肯定不够，所以有什么办法可以一行一行获取
看到limit（n）方法也只能获取前n的数据
spark
赞
收藏 0
回答 1
待解决
相关问题
mysql 如何获取表的按比例获取数据 （比如获取30%记录）
603浏览 • 1回复 待解决
spark 分布式写数据到oracle
175浏览 • 1回复 待解决
如何修改spark资源上传目录？
160浏览 • 1回复 待解决
PolarDB 的行如何写入块？
700浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮按下动效
6245浏览 • 3回复 待解决
如何获取数据表中最新的数据最新时间？
3014浏览 • 1回复 待解决
PolarDB 的行如何从块中读？
513浏览 • 1回复 待解决
docker 查询日志如何只显示最近 10 行?
806浏览 • 1回复 待解决
spark 没有c#的api，那c#怎么用spark呢？
122浏览 • 0回复 待解决
SQL插入一个数据时，如何获取ID?
839浏览 • 2回复 待解决
【ArkTS】分布式数据管理中如何获取deviceId
604浏览 • 1回复 待解决
只对比最后两行，求最后一行是否比上一行大，如果成立累加1，在DolphinDB中求累计总数
570浏览 • 1回复 待解决
spark submit 运行多个任务问题，求大神解答?
116浏览 • 0回复 待解决
spark 只分配2个executor，什么原因?
183浏览 • 1回复 待解决
linux排除带空行和#开头的行
2907浏览 • 1回复 待解决
在数据库如何保存图片比较好获取并设置image显示？
3794浏览 • 1回复 待解决
数据表日志详情怎么获取好呢？
1049浏览 • 1回复 待解决
h3861编译出现问题197行
3855浏览 • 1回复 待解决
JSUI按钮 toolbar的按下背景色怎么去掉
3102浏览 • 1回复 待解决
实际问下各位公司中的spark集群有几台?
144浏览 • 1回复 待解决
USB播放音乐时，App如何获取连接设备发出的控制播放的数据？
1985浏览 • 1回复 待解决
如何获取kafka生产者哪个IP使用哪个topic往broker中写数据？
620浏览 • 1回复 待解决
鸿蒙harmony如何获取屏幕宽高，如何获取信号栏高度？
8142浏览 • 2回复 待解决
关于鸿蒙系统gnss原始数据的获取?
1377浏览 • 1回复 待解决
Scrapy 获取不到拉勾网指定的xpath数据
2351浏览 • 0回复 待解决
使用foreachParttition可以遍历