鸿蒙开发者社区

以终为始，方得始终。从开始就要考虑到最终的结果，中国市场最终不需要那么多芯片公司，大浪淘沙，胜者为王。国产芯片公司创始人和投资人，也许从一开始就心知肚明。适逢其时，写此文章。浩浩荡荡的中国芯片创业大潮，也到了该退潮的时候。然而中国的创业者都是打不死的“小强”，这种倔强和韧性值得敬佩和尊重。但是，对行业的正确理解和认知，是一个创业者和投资人最基本的素质和要求，否则，一腔热情终将付诸东流，伤国伤民...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapacheincubatorseatunnel​无论是甲方还是乙方，我们在采集数据进行数仓模型建设时，企业的ERP一旦切换到SAP系统中，就会遇到较高的安全挑战、技术门槛和产品壁垒。安全挑战问题在于：传统数仓模式离线接入SAPHANA，对于多集团公司又涉及到数据权限和隔离等安全问题，一般集团大型企业不太会开放HANA数据库进行接入，同时SAP的业务表逻辑也比较复杂；技术门槛在于：我们要有...

战码先锋，PR征集令（以下简称“战码先锋”）第二期正如火如荼地进行中，涉及OpenAtomOpenHarmony（以下简称“OpenHarmony”）主干仓、SIG仓、三方库，共计1000+代码仓任君挑战。刚看到活动的朋友们肯定有个疑问：什么样业务背景的人能参与战码先锋活动？是否可以找到提PR的一些基本方法？为此，我们邀请了战码先锋第一期的贡献者，也是第二期队长之一的KingHe为我们带来了他的一些有效经验。以下是他的分享。实践证明，来自不...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.前言呕心沥血，FlinkSQL成神之路出品。小伙伴萌可以先体验一下下图大纲。由于微信公众号限制上传图片像素，所以博主分隔成了5张图片。。。NB2.基础概念篇2.1.SQL&Table简介及运行环境2.1.1.简介ApacheFlink提供了两种关系型API用于统一流和批处理，Table和SQLAPI。⭐TableAPI是一种集成在Java、Scala和Python语言中的查询API，简单理...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）2.5.SQL的时间属性在小伙伴萌看下文之前，先看一下2.5节整体的思路，跟着博主思路走：⭐与离线处理中常见的时间分区字段一样，在实时处理中，时间属性也是一个核心概念。Flink支持处理时间、事件时间、摄入时间三种时间语义。⭐分别介绍三种时间语义的应用场景及案例。三种时间在生产环境的使用频次事件时间（SQL常用）处理时间（SQL几...

作者antigeneral了呀来源大数据羊说（ID：youngsay）作者antigeneral了呀4.SQL能力扩展篇4.1.SQLUDF扩展Module在介绍FlinkModule具体能力之前，我们先来聊聊博主讲述的思路：⭐背景及应用场景介绍⭐FlinkModule功能介绍⭐应用案例：FlinkSQL支持HiveUDF4.1.1.FlinkSQLModule应用场景兄弟们，想想其实大多数公司都是从离线数仓开始建设的。相信大家必然在自己的生产环境中开发了非常多的HiveUDF。随着需求对于时效性要求的增高，...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）3.SQLUDF篇FlinkTable\SQLAPI允许用户使用函数进行数据处理、字段标准化等处理。3.1SQL函数的归类Flink中的函数有两个维度的归类标准。⭐一个归类标准是：系统（内置）函数和Catalog函数。系统函数没有命名空间，只能通过其名称来进行引用。Catalog函数属于Catalog和数据库，因此它们拥有Catalog和数据库的命名空间。用户可以通过全部...

一、介绍在上篇文章中，我们详细的介绍了kafka的架构模型，在集群环境中，kafka可以通过设置分区数来加快数据的消费速度。光知道理论还不行，我们得真真切切的实践起来才行！下面，我将结合生产环境的真实案例，以​​SpringBoot​​技术框架为基础，向大家介绍kafka的使用以及如何实现数据高吞吐！二、程序实践最近，公司大数据团队每天凌晨会将客户的订单数据进行统计计算，然后把业绩数据推送给我们，以便销售人员每天能看到...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，Flink支持了SQL和TableAPI中的Table与DataStream互转的接口。通过这种互转的方式，我们就可以将一些自定义的数据源（DataStream）创建为SQL表，也可以将SQL执行结果转换为...

前几天，阿粉给大家说了关于Activiti的使用，后台就有好友私信阿粉说，这些表都不知道是什么意思，不行呀，看不明白呀，于是阿粉就打算再这次给大家讲一下关于Activiti的这些表中的字段都是表示的什么意思。Activiti的表表说明actgebytearray通用数据actgeproperty流程引擎数据acthiactinst历史节点表acthiattachment历史附件表acthicomment历史意见表acthidetail历史详情acthiidentitylink历史流程人员acthiprocinst历史流程实...

前言首先说下我们为什么需要分布式ID，以及分布式ID是用来解决什么问题的。当我们的项目还处于单体架构的时候，我们使用数据库的自增ID就可以解决很多数据标识问题。但是随着我们的业务发展我们的架构就会逐渐演变成分布式架构，那么这个时候再使用数据的自增ID就不行了，因为一个业务的数据可能会放在好几个数据库里面，此时我们就需要一个分布式ID用来标识一条数据，因此我们需要一个分布式ID的生成服务。那么分布式ID的服务...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇上节介绍了flinksql的企业级开发利器Dlink。本节就来介绍下ApacheZeppelin。本节主要介绍一下博主在本地部署ApacheZeppelin的过程以及感受。先说下安装感受，ApacheZeppelin安装起来真的是非常的方便！！！几步就完成了。2.ApacheZeppelin平台效果具体功能如下图所示：sql开发sql开发3.安装部署篇安装真的很简单。可以参考jeff大...

一、介绍过滤器模式，顾名思义，从名字上就可以看出主要用于过滤对象，实现起来也很简单！从设计的角度看，过滤器模式涉及到三个角色：抽象过滤器角色：主要定义过滤器的行为；具体滤器角色：实现或者继承抽象过滤器，完善具体算法；客户端：客户类提出使用具体类的请求；话不多说，代码直接撸起来～二、示例下面，我们以班级同学为例，过滤出满足要求的同学，实现过程如下！先创建一个数据实体类​​Person​​，如下：数据实...

授权机制，当我们说到这个问题的时候，大家对它的第一印象是在哪个地方呢？是不是曾经某培训机构教授的SSO单点登录的，是的没错，而这种SSO的单点登录在当年的培训机构中，使用的就是Session共享，也就是用Redis做中间模拟Session，但是授权机制真的有这么简单么？接下来阿粉就来强势对比一下关于授权机制了。CookieSession认证授权CookieSession认证机制就是为一次请求认证在服务端创建一个Session对象，同时在客户端的浏览器...

一、介绍什么是责任链模式？（ChainofResponsibilityPattern），简单的说，为请求者和接受者之间创建一条对象处理链路，避免请求发送者与接收者耦合在一起！例如，如下图：从设计的角度看，责任链模式涉及到四个角色：请求角色：可以是外部的请求或者内部的请求，最终体现就是一个请求数据体；抽象处理器角色：定义处理的一些基本的规范；具体处理器角色：实现或者继承抽象处理器，完成具体的计算任务；接着角色：用于接受请求...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇博主这个系列都是讲flinksql相关的实践的。讲到这个章节，其实挺多常用的flinksql语法及实战案例都已经讲了。那么原理讲了，得在自己家公司把flinksql这等好东西用起来啊。搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博主调研之后，发现有两款非常优秀的利器：Apa...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在flinksql中复用hiveudf是能够大大提高人效的。flink扩展支持h...

阿粉的小学弟最近开始了面试，毕竟也算是工作过一两年的人，现在面试也都开始造飞机了，小学弟开始在面试官面前疯狂造飞机了，也不知道这个飞机好不好用，而开始造飞机的这块内容，就是关于Redis的，而面试官问Redis的最多的问题，就是如何保证你的Redis和MySQL数据的一致性？接下来我们分别分几种情况来考虑一下这个问题吧。Redis和MySQL搭配使用在什么地方？缓存量大但又不常变化的数据也就是说，当我们在使用Redis和MySQL的...

大家都知道传统的BIO网络模型有各种各样的缺点,于是就有了关于NIO网络模型的出现，更多的人也都开始喜欢使用Netty这种框架来进行开发，而摒弃了传统的BIO的模型，今天阿粉就给大家说一下为什么这么多人对BIO网络模型这么的头疼。BIOBIO网络模型实际上就是使用传统的JavaIO编程，相关联的类和接口都在java.io下。BIO模型到底是个什么玩意？BIO(blockingIO)同步阻塞，我们看这个翻译，blockingIO，实际上就能看出来，就是阻塞，当...

阿粉的一个小学妹最近刚从某个小互联网公司跳槽，然后最近面试的挺多的，一个不善言语的小姑娘，技术还是OK的，本来之前是做UI的，但是时间长了，感觉没太大意思，所以就开始学了后端，然后从原有公司慢慢的转为了后端开发人，也就是我们所说的“程序猿”，最近面试给阿粉谈了谈她的面试经验。阿粉比较印象深刻的一句话就是，我给你画个图，你看一下，这是对面试官说的，事情是什么样子的呢？你了解Redis穿透和雪崩么？为什么这...