spark Dataset<Row>如何按行获取数据?
需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取
看到limit(n)方法也只能获取前n的数据
        spark
      
        赞
        
 收藏 0
 回答 1
 
        待解决
        
相关问题
 mysql 如何获取表的按比例获取数据 (比如获取30%记录) 
4229浏览  • 1回复 待解决
HarmonyOS 资源管理对于rawfile中的文件如何按行读取? 
1492浏览  • 1回复 待解决
如何修改spark资源上传目录? 
2958浏览  • 1回复 待解决
spark 分布式写数据到oracle 
3289浏览  • 1回复 待解决
HarmonyOS ArkTS中有什么接口可以按行读取文本文件的内容 
1467浏览  • 1回复 待解决
spark 没有c#的api,那c#怎么用spark呢? 
3502浏览  • 1回复 待解决
HarmonyOS Grid布局,按行排列,列数不固定,GridItem大小固定,如何让所有GridItem在中间,目前向左对齐了 
1548浏览  • 1回复 待解决
HarmonyOS  布局如何按比例分配 
916浏览  • 1回复 待解决
怎样从海量数据中模糊查询到指定字段的数据行? 
3157浏览  • 1回复 待解决
spark submit 运行多个任务问题,求大神解答? 
2669浏览  • 1回复 待解决
HarmonyOS 使用Text组件如何设置行与行之间的间距? 
1959浏览  • 1回复 待解决
HarmonyOS 如何使用Flex限制在2行,超过2行就折叠 
1115浏览  • 1回复 待解决
row中放入textinput,textinput会超出row的范围 
1841浏览  • 1回复 待解决
HarmonyOS 如何按比例设置控件高度 
1461浏览  • 1回复 待解决
HarmonyOS 如何按比例设置控件高度? 
755浏览  • 0回复 待解决
如何对文本实现首行缩进? 
1163浏览  • 1回复 待解决
HarmonyOS 字体行高应该如何设置 
811浏览  • 1回复 待解决
PolarDB 的行如何写入块? 
3852浏览  • 1回复 待解决
HarmonyOS 如何实现Flex布局内容收起只显示1行,展开最多显示6行 
1291浏览  • 1回复 待解决
鸿蒙jsUi如何制作按钮按下动效 
9783浏览  • 3回复 待解决
HarmonyOS row中的子控件超出了row的范围 
1656浏览  • 1回复 待解决
spark 只分配2个executor,什么原因? 
2953浏览  • 1回复 待解决
HarmonyOS TextArea如何设置单行的行高? 
983浏览  • 1回复 待解决
PolarDB 的行如何从块中读? 
3224浏览  • 1回复 待解决
HarmonyOS Row内部的Text长度超出了Row布局的范围 
2265浏览  • 1回复 待解决





















使用foreachParttition可以遍历