SparkSQL整合mongodb出错

下面是报的异常

Caused by: java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2;
	at com.mongodb.spark.sql.MongoInferSchema$.com$mongodb$spark$sql$MongoInferSchema$$compatibleType(MongoInferSchema.scala:132)
	at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
	at com.mongodb.spark.sql.MongoInferSchema$$anonfun$3.apply(MongoInferSchema.scala:76)
  • 1.
  • 2.
  • 3.
  • 4.

下面是代码:

package cn.edu360.mongo

import com.mongodb.spark.MongoSpark
import org.apache.spark.sql.{DataFrame, SparkSession}

object MongoSparkSQL {
  def main(args: Array[String]): Unit = {
    val session = SparkSession.builder()
      .master("local")
      .appName("MongoSparkSQL")
      .config("spark.mongodb.input.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes?readPreference=secondaryPreferred")
      .config("spark.mongodb.output.uri", "mongodb://192.168.63.11:27200,192.168.63.12:27200,192.168.63.13:27200/mobike.bikes")
      .getOrCreate()
    val df: DataFrame = MongoSpark.load(session)
    df.createTempView("v_bikes")
    val result: DataFrame = session.sql("SELECT * FROM v_bikes")
    result.show()
    session.stop()
  }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
spark
mongodb
scala
2021-09-08 10:33:11
浏览
收藏 0
回答 1
回答 1
按赞同
/
按时间
红叶亦知秋

请问楼主在使用DevEco Studio开发HarmonyOS应用时,用的SparkSQL、MongoDB? 楼主用的是哪些SDK?

分享
微博
QQ
微信
回复1
2021-09-10 15:00:58
相关问题
哪些语言支持MongoDB?
4216浏览 • 1回复 待解决
如何创建MongoDB索引?
3190浏览 • 1回复 待解决
MongoDB 部署模型是什么?
4446浏览 • 1回复 待解决
在哪些场景使用MongoDB?
3945浏览 • 1回复 待解决
mongodb查找附近单车报错
4936浏览 • 2回复 待解决
MongoDB的优势有哪些?
4890浏览 • 1回复 待解决
NoSQL的MongoDB有哪些优点?
4349浏览 • 1回复 待解决
MongoDb中什么是索引?
4675浏览 • 1回复 待解决
mongodb实现特定值排序查询
2756浏览 • 1回复 待解决
如何查看使用MongoDB的连接?
4671浏览 • 1回复 待解决
MongoDB支持哪些数据类型?
4084浏览 • 1回复 待解决
Automaticallt generate signature出错
667浏览 • 1回复 待解决
mongodb查找附近的单车为空
6612浏览 • 1回复 待解决
MongoDB是由哪种语言写的?
6736浏览 • 1回复 待解决
docker里telnet不通mongodb副本集
3211浏览 • 0回复 待解决
什么是MongoDB有懂的吗?
4060浏览 • 1回复 待解决
HarmonyOS 权限添加出错
540浏览 • 1回复 待解决
HarmonyOS hdc安装hap出错
566浏览 • 1回复 待解决
windows中安装hpm出错
8256浏览 • 1回复 待解决
MongoDB哪个命令可以切换数据库
4978浏览 • 1回复 待解决
MongoDB中的分片是什么意思?
3863浏览 • 1回复 待解决
mysql + amoeba3.0.5 提示出错
2633浏览 • 0回复 待解决
HarmonyOS 安全区域出错
590浏览 • 1回复 待解决
为什么用MOngoDB有知道的吗?
4638浏览 • 1回复 待解决