spark Dataset<Row>如何按行获取数据?
需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取
看到limit(n)方法也只能获取前n的数据
spark
赞
收藏 0
回答 1
待解决
相关问题
mysql 如何获取表的按比例获取数据 (比如获取30%记录)
3270浏览 • 1回复 待解决
HarmonyOS 资源管理对于rawfile中的文件如何按行读取?
384浏览 • 1回复 待解决
spark 分布式写数据到oracle
1967浏览 • 1回复 待解决
如何修改spark资源上传目录?
2027浏览 • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢?
2310浏览 • 0回复 待解决
怎样从海量数据中模糊查询到指定字段的数据行?
2032浏览 • 1回复 待解决
HarmonyOS row中的子控件超出了row的范围
490浏览 • 1回复 待解决
HarmonyOS 使用Text组件如何设置行与行之间的间距?
554浏览 • 1回复 待解决
HarmonyOS Row内部的Text长度超出了Row布局的范围
680浏览 • 1回复 待解决
HarmonyOS 如何使用Flex限制在2行,超过2行就折叠
34浏览 • 1回复 待解决
spark submit 运行多个任务问题,求大神解答?
1881浏览 • 0回复 待解决
spark 只分配2个executor,什么原因?
2068浏览 • 1回复 待解决
row中放入textinput,textinput会超出row的范围
396浏览 • 1回复 待解决
鸿蒙jsUi如何制作按钮按下动效
8588浏览 • 3回复 待解决
如何对文本实现首行缩进?
383浏览 • 1回复 待解决
HarmonyOS 如何按比例设置控件高度
547浏览 • 1回复 待解决
实际问下各位公司中的spark集群有几台?
2402浏览 • 1回复 待解决
PolarDB 的行如何写入块?
2998浏览 • 1回复 待解决
HarmonyOS 字体行高应该如何设置
53浏览 • 1回复 待解决
HarmonyOS 在一个Row/Column里,通过循环往里面添加数据
45浏览 • 1回复 待解决
HarmonyOS 按下返回键时,如何禁止CustomDialog退出
877浏览 • 1回复 待解决
idea编译spark源码遇到的问题有知道的吗?
2380浏览 • 1回复 待解决
PolarDB 的行如何从块中读?
2311浏览 • 1回复 待解决
HarmonyOS TextArea如何设置单行的行高?
286浏览 • 1回复 待解决
使用foreachParttition可以遍历