spark Dataset<Row>如何按行获取数据?
需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取
看到limit(n)方法也只能获取前n的数据
spark
赞
收藏 0
回答 1
待解决
相关问题
mysql 如何获取表的按比例获取数据 (比如获取30%记录)
603浏览 • 1回复 待解决
spark 分布式写数据到oracle
175浏览 • 1回复 待解决
如何修改spark资源上传目录?
160浏览 • 1回复 待解决
PolarDB 的行如何写入块?
700浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮按下动效
6245浏览 • 3回复 待解决
如何获取数据表中最新的数据最新时间?
3014浏览 • 1回复 待解决
PolarDB 的行如何从块中读?
513浏览 • 1回复 待解决
docker 查询日志如何只显示最近 10 行?
806浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
122浏览 • 0回复 待解决
SQL插入一个数据时,如何获取ID?
839浏览 • 2回复 待解决
【ArkTS】分布式数据管理中如何获取deviceId
604浏览 • 1回复 待解决
只对比最后两行,求最后一行是否比上一行大,如果成立累加1,在DolphinDB中求累计总数
570浏览 • 1回复 待解决
spark submit 运行多个任务问题,求大神解答?
116浏览 • 0回复 待解决
spark 只分配2个executor,什么原因?
183浏览 • 1回复 待解决
linux排除带空行和#开头的行
2907浏览 • 1回复 待解决
在数据库如何保存图片比较好获取并设置image显示?
3794浏览 • 1回复 待解决
数据表日志详情怎么获取好呢?
1049浏览 • 1回复 待解决
h3861编译出现问题197行
3855浏览 • 1回复 待解决
JSUI按钮 toolbar的按下背景色怎么去掉
3102浏览 • 1回复 待解决
实际问下各位公司中的spark集群有几台?
144浏览 • 1回复 待解决
USB播放音乐时,App如何获取连接设备发出的控制播放的数据?
1985浏览 • 1回复 待解决
如何获取kafka生产者哪个IP使用哪个topic往broker中写数据?
620浏览 • 1回复 待解决
鸿蒙harmony如何获取屏幕宽高,如何获取信号栏高度?
8142浏览 • 2回复 待解决
关于鸿蒙系统gnss原始数据的获取?
1377浏览 • 1回复 待解决
Scrapy 获取不到拉勾网指定的xpath数据
2351浏览 • 0回复 待解决
使用foreachParttition可以遍历