用什么承受全部的数据-RDD、DataFrame还是Dataset 原创

发布于 2022-1-22 18:31
浏览
0收藏

春节不停更,此文正在参加「星光计划-春节更帖活动

大家好,我是怀瑾握瑜,一只大数据萌新,家有两只吞金兽,嘉与嘉,上能code下能teach的全能奶爸
如果您喜欢我的文章,可以[关注⭐]+[点赞👍]+[评论📃],您的三连是我前进的动力,期待与您共同成长~


前言

Spark提供了三种主要的与数据相关的API:

  • RDD:全称Resilient Distributed Dataset,弹性分布式数据集,Spark中最基础的数据抽象,特点是RDD只包含数据本身,没有数据结构。

  • DataFrame:也是一个分布式数据容器,除数据本身,还记录了数据的结构信息,即schema;结构信息便于Spark知道该数据集中包含了哪些列,每一列的类型和数据是什么。

  • DataSet:Spark中最上层的数据抽象,不仅包含数据本身,记录了数据的结构信息schema,还包含了数据集的类型,也就是真正把数据集做成了一个java对象的形式,需要先创建一个样例类case class,把数据做成样例类的格式,每一列就是样例类里的属性。

从版本的产生上来看:

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

如果同样的数据都给到这三个数据结构,他们分别计算之后,都会给出相同的结果。不同是的他们的执行效率和执行方式。在后期的Spark版本中,DataSet有可能会逐步取代RDD和DataFrame成为唯一的API接口。

三者的共性

  1. RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利

  2. 三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历运算

  3. 三者有许多共同的函数,如filter,排序等

  4. 在对DataFrame和Dataset进行操作许多操作都需要这个包:import spark.implicits._(在创建好SparkSession对象后尽量直接导入)

  5. 三者都有partition的概念

  6. DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型

三者的区别

RDD

  1. RDD一般和spark mlib同时使用
  2. RDD不支持sparksql操作

DataFrame

  1. 与RDD和Dataset不同,DataFrame每一行的类型固定为Row,只有通过解析才能获取各个字段的值,每一列的值没法直接访问

  2. DataFrame与Dataset一般不与spark ml同时使用

  3. DataFrame与Dataset均支持sparksql的操作,比如select,groupby之类,还能注册临时表/视窗,进行sql语句操作

  4. DataFrame与Dataset支持一些特别方便的保存方式,比如保存成csv,可以带上表头,这样每一列的字段名一目了然

  5. 处理支持结构或者非结构化的格式(比如Avro, CSV, elastic search, 以及Cassandra)以及不同的文件系统(HDFS, HIVE tables, MySQL, etc)。它支持非常多的数据源

  6. 使用Spark的SQL可以无修改的支持Hive查询在已经存在的Hive warehouses。它重用了Hive的前端、MetaStore并且对已经存在的Hive数据、查询和UDF提供完整的兼容性。

Dataset

  1. 使用Spark的SQL可以无修改的支持Hive查询在已经存在的Hive warehouses。它重用了Hive的前端、MetaStore并且对已经存在的Hive数据、查询和UDF提供完整的兼容性。

  2. Dataset和DataFrame拥有完全相同的成员函数,区别只是每一行的数据类型不同

  3. DataFrame也可以叫Dataset[Row],每一行的类型是Row,不解析,每一行究竟有哪些字段,各个字段又是什么类型都无从得知,只能用getAS方法拿出特定字段

JAVA中的相互转换

直接构建 JavaRDD<Model>

JavaRDD<Model> rdd = jsc.parallelize(list);
rdd.foreach(x -> System.out.println(x.toString()));

直接构建 Dataset<Model>

Encoder<Model> encoder = Encoders.bean(Model.class);
Dataset<Model> ds = spark.createDataset(list, personEncoder);
ds.show();
ds.printSchema();

直接构建Dataset<Row>

Dataset<Row> df = spark.createDataFrame(personList, Model.class);
df.show();
df.printSchema();

JavaRDD<Model> => Dataset<Model>

ds = spark.createDataset(rdd.rdd(), encoder);
ds.show();
ds.printSchema();

JavaRDD<Model> => Dataset<Row>

df = spark.createDataFrame(rdd, Model.class);
df.show();
df.printSchema();

JavaRDD<Row>到Dataset<Row>

JavaRDD<Row> rowRdd = rdd.map(person -> new Model(id));
List<StructField> fieldList = new ArrayList<>();
fieldList.add(DataTypes.createStructField("id", DataTypes.IntegerType, false));
StructType schema = DataTypes.createStructType(fieldList);
df = spark.createDataFrame(rowRdd, schema);
df.show();
df.printSchema();

Dataset<Person> => JavaRDD<Person>

rdd = ds.toJavaRDD();
rdd.foreach(x -> System.out.println(x.toString()));

Dataset<Row> => JavaRDD<Person>

rdd = df.toJavaRDD().map(row -> {
    String id = row.getAs("id");
    return new Model(id);
});
rdd.foreach(element -> System.out.println(element.toString()));

Dataset<Person> => Dataset<Row>

List<StructField> fieldList = new ArrayList<>();
fieldList.add(DataTypes.createStructField("id", DataTypes.IntegerType, false));
StructType rowSchema = DataTypes.createStructType(fieldList);
ExpressionEncoder<Row> rowEncoder = RowEncoder.apply(rowSchema);
Dataset<Row> df = ds.map(
        (MapFunction<Model, Row>) x -> {
            List<Object> objectList = new ArrayList<>();
            objectList.add(x.id);
            return RowFactory.create(objectList.toArray());
        },
        rowEncoder
);
df.show();

Dataset<Row> => Dataset<Person>

ds= df.map(new MapFunction<Row, Person>() {
    @Override
    public Person call(Row value) throws Exception {
        return new Model(value.getAs("id"));
    }
}, encoder);
ds.show();
ds.printSchema();

转换总结:

其实RDD的Map和Dataset的Map只有一点不同,就是Dataset的Map要指定一个Encoder的参数。

列一个最简单的数据查询,到落盘的简单流程

数据处理:

// 通过sql查询数据,生成df
Dataset<Row> df = spark.sql(sql);
// 遍历数据生成rdd
JavaRDD<Model> rdd = basicList.toJavaRDD().mapPartitions();
//创建临时表保存数据
// 通过bean生成df
Dataset<Row> dfds = spark.createDataFrame(rdd, Model.class);
dfds.createOrReplaceTempView("spark_tmp");
spark.sql("insert XXX SELECT FROM spark_tmp");

结束语

如果您喜欢我的文章,可以[关注⭐]+[点赞👍]+[评论📃],您的三连是我前进的动力,期待与您共同成长~

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
标签
收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光,你也可以直接关联已上传资源 去关联
    相关推荐