鸿蒙开发者社区

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）集合操作大家好，我是老羊，今天我们来学习FlinkSQL中的集合相关操作。集合操作支持Batch\Streaming任务。⭐UNION：将集合合并并且去重。union⭐UNIONALL：将集合合并，不做去重。FlinkSQL>createviewt1(s)asvalues('c'),('a'),('b'),('b'),('c');FlinkSQL>createviewt2(s)asvalues('d'),('e'),('a'),('b'),('b');FlinkSQL>(SELECTsFRO...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）大家好，我是老羊，今天我们来学习FlinkSQL中除了窗口操作之外最常用的数据聚合方式，Group聚合。​Group聚合⭐Group聚合定义（支持Batch\Streaming任务）：Flink也支持Group聚合。Group聚合和上面介绍到的窗口聚合的不同之处，就在于Group聚合是按照数据的类别进行分组，比如年龄、性别，是横向的；而窗口聚合是在时间粒度上对数据进...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）Over聚合大家好，我是老羊，今天我们来学习FlinkSQL中的·Over聚合操作。⭐Over聚合定义（支持Batch\Streaming）：可以理解为是一种特殊的滑动窗口聚合函数。那这里我们拿​​Over聚合​​​与​​窗口聚合​​做一个对比，其之间的最大不同之处在于：⭐窗口聚合：不在groupby中的字段，不能直接在select中拿到⭐Over聚合：能够保留原...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）FlinkJoins大家好，我是老羊，今天我们来学习FlinkSQL中的·Join操作。Flink支持了非常多的数据Join方式，主要包括以下三种：⭐动态表（流）与动态表（流）的Join⭐动态表（流）与外部维表（比如Redis）的Join⭐动态表字段的列转行（一种特殊的Join）细分FlinkSQL支持的Join：⭐RegularJoin：流与流的Join，包括InnerEqualJoin、OuterE...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）DML：OrderBy、Limit子句大家好，我是老羊，今天我们来学习FlinkSQL中的TopN、OrderBy、Limit3个操作。1.OrderBy子句支持Batch\Streaming，但在实时任务中一般用的非常少。实时任务中，OrderBy子句中必须要有时间属性字段，并且时间属性必须为升序时间属性，即​​WATERMARKFORrowtimecolumnASrowtimecolumnINTERVAL'0.001'SECOND​​...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）WindowTopN大家好，我是老羊，今天我们来学习FlinkSQL中的WindowTopN操作。⭐WindowTopN定义（支持Streaming）：WindowTopN是一种特殊的TopN，它的返回结果是每一个窗口内的N个最小值或者最大值。⭐应用场景：小伙伴萌会问了，我有了TopN为啥还需要WindowTopN呢？还记得上文介绍TopN说道的TopN时会出现中间结果，从而出现回撤数据的嘛...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）DML：Deduplication大家好，我是老羊，今天我们来学习FlinkSQL中的Deduplication去重以及如何通过Deduplication操作获取最新的状态。⭐Deduplication定义（支持Batch\Streaming）：Deduplication其实就是去重，也即上文介绍到的TopN中rownumber1的场景，但是这里有一点不一样在于其排序字段一定是时间属性列，不能是其他非时间属性的普...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）EXPLAIN子句大家好，我是老羊，今天我们来学习FlinkSQL中的的Explain、Show、Load、Set共4个子句。⭐应用场景：EXPLAIN子句其实就是用于查看当前这个sql查询的逻辑计划以及优化的执行计划。⭐SQL语法标准：EXPLAINPLANFOR<querystatementorinsertstatement>⭐实际案例：publicclassExplainTest{publicstaticvoidmain(String[]args)thro...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇博主这个系列都是讲flinksql相关的实践的。讲到这个章节，其实挺多常用的flinksql语法及实战案例都已经讲了。那么原理讲了，得在自己家公司把flinksql这等好东西用起来啊。搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博主调研之后，发现有两款非常优秀的利器：Apa...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇上节介绍了flinksql的企业级开发利器Dlink。本节就来介绍下ApacheZeppelin。本节主要介绍一下博主在本地部署ApacheZeppelin的过程以及感受。先说下安装感受，ApacheZeppelin安装起来真的是非常的方便！！！几步就完成了。2.ApacheZeppelin平台效果具体功能如下图所示：sql开发sql开发3.安装部署篇安装真的很简单。可以参考jeff大...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在flinksql中复用hiveudf是能够大大提高人效的。flink扩展支持h...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，Flink支持了SQL和TableAPI中的Table与DataStream互转的接口。通过这种互转的方式，我们就可以将一些自定义的数据源（DataStream）创建为SQL表，也可以将SQL执行结果转换为...

作者antigeneral了呀来源大数据羊说（ID：youngsay）作者antigeneral了呀4.SQL能力扩展篇4.1.SQLUDF扩展Module在介绍FlinkModule具体能力之前，我们先来聊聊博主讲述的思路：⭐背景及应用场景介绍⭐FlinkModule功能介绍⭐应用案例：FlinkSQL支持HiveUDF4.1.1.FlinkSQLModule应用场景兄弟们，想想其实大多数公司都是从离线数仓开始建设的。相信大家必然在自己的生产环境中开发了非常多的HiveUDF。随着需求对于时效性要求的增高，...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）3.SQLUDF篇FlinkTable\SQLAPI允许用户使用函数进行数据处理、字段标准化等处理。3.1SQL函数的归类Flink中的函数有两个维度的归类标准。⭐一个归类标准是：系统（内置）函数和Catalog函数。系统函数没有命名空间，只能通过其名称来进行引用。Catalog函数属于Catalog和数据库，因此它们拥有Catalog和数据库的命名空间。用户可以通过全部...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）2.5.SQL的时间属性在小伙伴萌看下文之前，先看一下2.5节整体的思路，跟着博主思路走：⭐与离线处理中常见的时间分区字段一样，在实时处理中，时间属性也是一个核心概念。Flink支持处理时间、事件时间、摄入时间三种时间语义。⭐分别介绍三种时间语义的应用场景及案例。三种时间在生产环境的使用频次事件时间（SQL常用）处理时间（SQL几...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.前言呕心沥血，FlinkSQL成神之路出品。小伙伴萌可以先体验一下下图大纲。由于微信公众号限制上传图片像素，所以博主分隔成了5张图片。。。NB2.基础概念篇2.1.SQL&Table简介及运行环境2.1.1.简介ApacheFlink提供了两种关系型API用于统一流和批处理，Table和SQLAPI。⭐TableAPI是一种集成在Java、Scala和Python语言中的查询API，简单理...