SparkSQL整合mongodb出错
下面是报的异常
Caused by: java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2;
at com.mongodb.spark.sql.MongoInferSchema$.com$mongodb$spark$sql$MongoInferSchema$$compatibleType(MongoInferSchema.scala:132)
at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
下面是代码:
package cn.edu360.mongo
import com.mongodb.spark.MongoSpark
import org.apache.spark.sql.{DataFrame, SparkSession}
object MongoSparkSQL {
def main(args: Array[String]): Unit = {
val session = SparkSession.builder()
.master("local")
.appName("MongoSparkSQL")
.config("spark.mongodb.input.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes?readPreference=secondaryPreferred")
.config("spark.mongodb.output.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes")
.getOrCreate()
val df: DataFrame = MongoSpark.load(session)
df.createTempView("v_bikes")
val result: DataFrame = session.sql("SELECT * FROM v_bikes")
result.show()
session.stop()
}
}
spark
mongodb
scala
赞
收藏 0
回答 1
待解决
相关问题
哪些语言支持MongoDB?
1299浏览 • 1回复 待解决
MongoDB的优势有哪些?
1444浏览 • 1回复 待解决
mongodb查找附近单车报错
2116浏览 • 2回复 待解决
mysql + amoeba3.0.5 提示出错
406浏览 • 0回复 待解决
在哪些场景使用MongoDB?
1131浏览 • 1回复 待解决
MongoDB 部署模型是什么?
1693浏览 • 1回复 待解决
MongoDB支持哪些数据类型?
903浏览 • 1回复 待解决
windows中安装hpm出错
4193浏览 • 1回复 待解决
如何查看使用MongoDB的连接?
1338浏览 • 1回复 待解决
NoSQL的MongoDB有哪些优点?
1498浏览 • 1回复 待解决
在MongoDb中什么是索引?
1246浏览 • 1回复 待解决
什么是MongoDB有懂的吗?
1059浏览 • 1回复 待解决
npm install -g serialport出错怎么办
10691浏览 • 5回复 待解决
mongodb查找附近的单车为空
3038浏览 • 1回复 待解决
MongoDB是由哪种语言写的?
1813浏览 • 1回复 待解决
MongoDB中的分片是什么意思?
1097浏览 • 1回复 待解决
编译ipcamera_hispark_taurus时出错,求解决
3853浏览 • 1回复 已解决
编译时候出错。log文件如下:请求解决
8084浏览 • 2回复 待解决
MongoDB哪个命令可以切换数据库
1392浏览 • 1回复 待解决
为什么用MOngoDB有知道的吗?
1476浏览 • 1回复 待解决
hpm下载库出错,不能下载,请指点
3504浏览 • 1回复 待解决
小熊派智慧物流案例编译出错
2789浏览 • 1回复 待解决
关于MongoDB数据恢复有遇到过的吗?
1754浏览 • 1回复 待解决
本地模拟器运行程序出错怎么回事?
2311浏览 • 1回复 待解决
repo+https下载openharmony2.2出错,求助
3587浏览 • 1回复 待解决
请问楼主在使用DevEco Studio开发HarmonyOS应用时,用的SparkSQL、MongoDB? 楼主用的是哪些SDK?