用什么承受全部的数据-RDD、DataFrame还是Dataset 原创

怀瑾握瑜的嘉与嘉

发布于 2022-1-22 18:31

浏览

0收藏

春节不停更，此文正在参加「星光计划-春节更帖活动」

大家好，我是怀瑾握瑜，一只大数据萌新，家有两只吞金兽，嘉与嘉，上能code下能teach的全能奶爸
如果您喜欢我的文章，可以[关注⭐]+[点赞👍]+[评论📃]，您的三连是我前进的动力，期待与您共同成长~

前言

Spark提供了三种主要的与数据相关的API：

RDD：全称Resilient Distributed Dataset，弹性分布式数据集，Spark中最基础的数据抽象，特点是RDD只包含数据本身，没有数据结构。
DataFrame：也是一个分布式数据容器，除数据本身，还记录了数据的结构信息，即schema；结构信息便于Spark知道该数据集中包含了哪些列，每一列的类型和数据是什么。
DataSet：Spark中最上层的数据抽象，不仅包含数据本身，记录了数据的结构信息schema，还包含了数据集的类型，也就是真正把数据集做成了一个java对象的形式，需要先创建一个样例类case class，把数据做成样例类的格式，每一列就是样例类里的属性。

从版本的产生上来看：

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。在后期的Spark版本中，DataSet有可能会逐步取代RDD和DataFrame成为唯一的API接口。

三者的共性

RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利
三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算
三者有许多共同的函数，如filter，排序等
在对DataFrame和Dataset进行操作许多操作都需要这个包:import spark.implicits._（在创建好SparkSession对象后尽量直接导入）
三者都有partition的概念
DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型

三者的区别

RDD

RDD一般和spark mlib同时使用
RDD不支持sparksql操作

DataFrame

与RDD和Dataset不同，DataFrame每一行的类型固定为Row，只有通过解析才能获取各个字段的值，每一列的值没法直接访问
DataFrame与Dataset一般不与spark ml同时使用
DataFrame与Dataset均支持sparksql的操作，比如select，groupby之类，还能注册临时表/视窗，进行sql语句操作
DataFrame与Dataset支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然
处理支持结构或者非结构化的格式（比如Avro, CSV, elastic search, 以及Cassandra）以及不同的文件系统（HDFS, HIVE tables, MySQL, etc）。它支持非常多的数据源
使用Spark的SQL可以无修改的支持Hive查询在已经存在的Hive warehouses。它重用了Hive的前端、MetaStore并且对已经存在的Hive数据、查询和UDF提供完整的兼容性。

Dataset

使用Spark的SQL可以无修改的支持Hive查询在已经存在的Hive warehouses。它重用了Hive的前端、MetaStore并且对已经存在的Hive数据、查询和UDF提供完整的兼容性。
Dataset和DataFrame拥有完全相同的成员函数，区别只是每一行的数据类型不同
DataFrame也可以叫Dataset[Row],每一行的类型是Row，不解析，每一行究竟有哪些字段，各个字段又是什么类型都无从得知，只能用getAS方法拿出特定字段

JAVA中的相互转换

直接构建 JavaRDD<Model>

JavaRDD<Model> rdd = jsc.parallelize(list);
rdd.foreach(x -> System.out.println(x.toString()));

直接构建 Dataset<Model>

Encoder<Model> encoder = Encoders.bean(Model.class);
Dataset<Model> ds = spark.createDataset(list, personEncoder);
ds.show();
ds.printSchema();

直接构建Dataset<Row>

Dataset<Row> df = spark.createDataFrame(personList, Model.class);
df.show();
df.printSchema();

JavaRDD<Model> => Dataset<Model>

ds = spark.createDataset(rdd.rdd(), encoder);
ds.show();
ds.printSchema();

JavaRDD<Model> => Dataset<Row>

df = spark.createDataFrame(rdd, Model.class);
df.show();
df.printSchema();

JavaRDD<Row>到Dataset<Row>

JavaRDD<Row> rowRdd = rdd.map(person -> new Model(id));
List<StructField> fieldList = new ArrayList<>();
fieldList.add(DataTypes.createStructField("id", DataTypes.IntegerType, false));
StructType schema = DataTypes.createStructType(fieldList);
df = spark.createDataFrame(rowRdd, schema);
df.show();
df.printSchema();

Dataset<Person> => JavaRDD<Person>

rdd = ds.toJavaRDD();
rdd.foreach(x -> System.out.println(x.toString()));

Dataset<Row> => JavaRDD<Person>

rdd = df.toJavaRDD().map(row -> {
    String id = row.getAs("id");
    return new Model(id);
});
rdd.foreach(element -> System.out.println(element.toString()));

Dataset<Person> => Dataset<Row>

List<StructField> fieldList = new ArrayList<>();
fieldList.add(DataTypes.createStructField("id", DataTypes.IntegerType, false));
StructType rowSchema = DataTypes.createStructType(fieldList);
ExpressionEncoder<Row> rowEncoder = RowEncoder.apply(rowSchema);
Dataset<Row> df = ds.map(
        (MapFunction<Model, Row>) x -> {
            List<Object> objectList = new ArrayList<>();
            objectList.add(x.id);
            return RowFactory.create(objectList.toArray());
        },
        rowEncoder
);
df.show();

Dataset<Row> => Dataset<Person>

ds= df.map(new MapFunction<Row, Person>() {
    @Override
    public Person call(Row value) throws Exception {
        return new Model(value.getAs("id"));
    }
}, encoder);
ds.show();
ds.printSchema();

转换总结：

其实RDD的Map和Dataset的Map只有一点不同，就是Dataset的Map要指定一个Encoder的参数。

列一个最简单的数据查询，到落盘的简单流程

数据处理：

// 通过sql查询数据，生成df
Dataset<Row> df = spark.sql(sql);
// 遍历数据生成rdd
JavaRDD<Model> rdd = basicList.toJavaRDD().mapPartitions();
//创建临时表保存数据
// 通过bean生成df
Dataset<Row> dfds = spark.createDataFrame(rdd, Model.class);
dfds.createOrReplaceTempView("spark_tmp");
spark.sql("insert XXX SELECT FROM spark_tmp");