SparkSQL整合mongodb出错
下面是报的异常
Caused by: java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2;
at com.mongodb.spark.sql.MongoInferSchema$.com$mongodb$spark$sql$MongoInferSchema$$compatibleType(MongoInferSchema.scala:132)
at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
下面是代码:
package cn.edu360.mongo
import com.mongodb.spark.MongoSpark
import org.apache.spark.sql.{DataFrame, SparkSession}
object MongoSparkSQL {
def main(args: Array[String]): Unit = {
val session = SparkSession.builder()
.master("local")
.appName("MongoSparkSQL")
.config("spark.mongodb.input.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes?readPreference=secondaryPreferred")
.config("spark.mongodb.output.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes")
.getOrCreate()
val df: DataFrame = MongoSpark.load(session)
df.createTempView("v_bikes")
val result: DataFrame = session.sql("SELECT * FROM v_bikes")
result.show()
session.stop()
}
}
spark
mongodb
scala
赞
收藏 0
回答 1
待解决
相关问题
mongodb查找附近的单车为空
1271浏览 • 1回复 待解决
mongodb查找附近单车报错
1518浏览 • 1回复 待解决
windows中安装hpm出错
2703浏览 • 1回复 待解决
小熊派智慧物流案例编译出错
497浏览 • 1回复 待解决
hpm下载库出错,不能下载,请指点
2130浏览 • 1回复 待解决
npm install -g serialport出错怎么办
7436浏览 • 5回复 待解决
DevEco Studio 2.1.0.501 x64配置SDK出错
1905浏览 • 2回复 待解决
编译ipcamera_hispark_taurus时出错,求解决
2471浏览 • 1回复 已解决
编译时候出错。log文件如下:请求解决
5832浏览 • 2回复 待解决
搭建环境出错了咋办,不想用虚拟机.....
5118浏览 • 2回复 待解决
Serial Monitor中启动测试不能完全通过,AT命令出错。
2317浏览 • 2回复 已解决
Linux系统搭建鸿蒙环境编译出错,[OHOS ERROR]
808浏览 • 2回复 已解决
repo+https下载openharmony2.2出错,求助
2118浏览 • 1回复 待解决
本地模拟器运行程序出错怎么回事?
582浏览 • 1回复 待解决
无法创建相机,不知道哪里出错了,大佬帮忙看看
1786浏览 • 1回复 待解决
编译hi3861源码时出错,润和的那块板子
2654浏览 • 1回复 待解决
Windows工作环境搭建完成后,编译时出错~求助
2614浏览 • 1回复 已解决
求教DevEcoTool2.2、3.0版在
Windows10编译出错的原因。
2040浏览 • 3回复 待解决
开发第三方SDK如何编译?
8596浏览 • 2回复 待解决
Gradle sync failed: Cause: invalid type code: 00 是什么问题
25270浏览 • 1回复 待解决
鸿蒙使用fetch,code为200,但是依然回调了fail函数,服务器检查确实收到了请求,为什么不回调success
2399浏览 • 2回复 待解决
关于DependentLayout布局的一点疑问
1335浏览 • 1回复 待解决
我是安卓开发者,首次下载开发工具不熟悉
2890浏览 • 2回复 待解决
鸿蒙的.app格式安装包可以直接安装到手机吗?
5184浏览 • 5回复 待解决
请问楼主在使用DevEco Studio开发HarmonyOS应用时,用的SparkSQL、MongoDB? 楼主用的是哪些SDK?