鸿蒙开发者社区

上篇我们讲述了一个执行计划是如何生成的，这次我们来看下这个生成的执行计划是如何被Optimizer优化的。>>>>概述Optimizer，优化器，顾名思义就是一个用来优化执行计划的组件。数据库的优化器通常分为两类，一类是基于规则的优化器RBO（Rulebasdoptimizer），一类是基于代价的优化CBO（Costbasedoptimizer），前者完全基于预设的优化规则进行优化，匹配的条件和优化的结果都比较固定；后者则会根据收集的数据统计信息计算不同执...

上篇我们讲述了​​​QueryEngineOptimizer​​部分的内容，在本文我们讲解下QueryEngine剩下的Scheduler和Executor模块。>>>>概述在执行阶段，执行引擎通过Scheduler（调度器）将Planner生成的物理执行计划转换为一系列Executor，驱动Executor的执行。Executor，即执行器，物理执行计划中的每个PlanNode都会对应一个Executor。>>>>源码定位调度器的源码在srcscheduler目录下：srcscheduler├──AsyncMsgNotifyBasedScheduler....

在图论中，介数（Betweenness）反应节点在整个网络中的作用和影响力。而本文主要介绍如何基于NebulaGraph图数据库实现BetweennessCentrality介数中心性的计算。>>>>1.算法介绍中心性是用来衡量一个节点在整个网络图中所在中心程度的概念，包括度中心性、接近中心性、中介中心性等。其中度中心性通过节点的度数（即关联的边数）来刻画节点的受欢迎程度，接近中心性是通过计算每个节点到全图其他所有节点的路径和来刻画节点与其他...

“本文首发于OPPO数智技术公众号，WeChatID:OPPOtech>>>>1、什么是图数据库图数据库（Graphdatabase）是以图这种数据结构存储和查询的数据库。与其他数据库不同，关系在图数据库中占首要地位。这意味着应用程序不必使用外键或带外处理（如MapReduce）来推断数据连接。与关系数据库或其他NoSQL数据库相比，图数据库的数据模型也更加简单，更具表现力。图数据库在社交网络、知识图谱、金融风控、个性化推荐、网络安全等领域应用广...

在本文中将分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速蹚一下NebulaExchange中SST写入方式的步骤。国外访问：NebulaExchangeSST2.xHandsonGuidesiwei.io：​​https:siwei.ionebulaexchangesst2.x​​国内访问：NebulaExchangeSST2.xHandsonGuidesiwei.io：​​https:cn.siwei.ionebulaexchangesst2.x​​>>>>什么是NebulaExchange之前我在NebulaDataImportOptions（链接：​​https:siwei.iosketchesne...

““对于用户的每一次查询，都能根据其意图做到相应的场景和产品的匹配”，是携程酒店技术团队的目标，但实现这个目标他们遇到了三大问题…本文着重讲述他们是如何构建场景与信息关系，用Nebula处理关联关系，从而快速返回场景化定制推荐信息给酒店用户的实践过程。>>>>背景用一句话来概述携程愚公项目的需求便是“对于用户的每一次查询，都能根据其意图做到相应的场景和产品的匹配”。目前，在酒店排序方面，携程酒店已经做到...

“本文系DTCC（中国数据库技术大会）对演讲嘉宾——Dr.min.wu的专访，吴敏博士的演讲稿参见推文《​​开源分布式图数据库的思考和实践​​》，文章首发于ITPUB公众号电信诈骗越来越猖狂，与诈骗犯斗智斗勇进行反欺诈，疫情流调，在人潮人海中快速找到密接人员……这背后很可能都有数据库当红炸子鸡图数据库的技术支撑。什么是图数据库？图数据库能解决什么问题？是否图数据库要替代关系型数据库？在日前DTCC2021中国数据库技术...

NebulaGraph上周发布了v2.6版本，当中比较重要的特性之一便是TOSS。通过本文，我将带你全方位了解TOSS为何物。>>>>从一条GO语句说起众所周知，边分为无向边跟有向边两种。所以当按有向边去探索时，就可以按正向边反向边做遍历，NebulaGraph也支持这种语义。比如：gofrom"101"overknownreverselyyieldknown.kdate,id($$);上述语句从点101开始反向的找所有的对应邻边。但，当用户使用Nebula插入一条边时，命令都类似于：insertedg...

世界上没有完美的产品，每个不完美的产品都需要一份文档。>>>>为什么需要文档打造出一款产品后，我们需要一份文档来回答以下问题：设计这款产品的原因是什么（Why）这是一款什么样的产品（What）产品面向的用户是谁（Who）在哪些场景下可以用这款产品（Where&When）怎样使用（How）产品的使用限制与其它需要注意的问题（Notesandlimitations）……通过文档介绍这些信息，新读者才能更直观地了解产品，决定是否要用它，而产品的...

在上次的nebulastorageonnLive直播中，来自Nebula存储团队的负责人王玉珏（四王）同大家分享了nebulastorage这块的设计思考，也解答了一些来自社区小伙伴的提问。本文整理自该场直播，按照问题涉及的分类进行顺序调整，并非完全按照直播的时间先后排序。详细直播回放见上面视频。>>>>Nebula的存储架构整个Storage主要分三层，最下面是StoreEngine，也就是RocksDB，中间是raft一致性协议层，最上层storageservice提供对外的rpc接...

>>>>1.前言随着近年来数据的爆炸式增长，如何高效地分析处理数据，在业界一直备受关注。现实世界中的数据往往数量庞大且关系复杂，这些数据中不同个体间彼此交互产生的数据以图的形式表现最为自然。比如微信的社交网络，是由节点（个人、公众号）和边（关注、点赞）构成的图；淘宝的交易网络，是由节点（个人、商品）和边（购买、收藏）构成的图。图计算正是研究事物之间的关系，并对其进行完整的刻画、计算和分析的一门技术。...

究竟是新风口还是行业毒瘤？对于低代码，你怎么看？作为软件工程师的你，一定听说过低代码（LCNC）工具吧？来自谷歌的低代码趋势图显示，人们对“低代码”一词的兴趣越来越浓厚。图1：谷歌趋势图 此外，低代码方面的相关投入也不断加大，来自Spreadsheetweb的调查数据显示如下：图2：Spreadsheetweb调查统计 尽管受全球经济形势持续低迷的影响，低代码相关投资热度骤减，但是Spreadsheetweb预测：到2027年，“低代码...

以终为始，方得始终。从开始就要考虑到最终的结果，中国市场最终不需要那么多芯片公司，大浪淘沙，胜者为王。国产芯片公司创始人和投资人，也许从一开始就心知肚明。适逢其时，写此文章。浩浩荡荡的中国芯片创业大潮，也到了该退潮的时候。然而中国的创业者都是打不死的“小强”，这种倔强和韧性值得敬佩和尊重。但是，对行业的正确理解和认知，是一个创业者和投资人最基本的素质和要求，否则，一腔热情终将付诸东流，伤国伤民...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapacheincubatorseatunnel​无论是甲方还是乙方，我们在采集数据进行数仓模型建设时，企业的ERP一旦切换到SAP系统中，就会遇到较高的安全挑战、技术门槛和产品壁垒。安全挑战问题在于：传统数仓模式离线接入SAPHANA，对于多集团公司又涉及到数据权限和隔离等安全问题，一般集团大型企业不太会开放HANA数据库进行接入，同时SAP的业务表逻辑也比较复杂；技术门槛在于：我们要有...

战码先锋，PR征集令（以下简称“战码先锋”）第二期正如火如荼地进行中，涉及OpenAtomOpenHarmony（以下简称“OpenHarmony”）主干仓、SIG仓、三方库，共计1000+代码仓任君挑战。刚看到活动的朋友们肯定有个疑问：什么样业务背景的人能参与战码先锋活动？是否可以找到提PR的一些基本方法？为此，我们邀请了战码先锋第一期的贡献者，也是第二期队长之一的KingHe为我们带来了他的一些有效经验。以下是他的分享。实践证明，来自不...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）1.前言呕心沥血，FlinkSQL成神之路出品。小伙伴萌可以先体验一下下图大纲。由于微信公众号限制上传图片像素，所以博主分隔成了5张图片。。。NB2.基础概念篇2.1.SQL&Table简介及运行环境2.1.1.简介ApacheFlink提供了两种关系型API用于统一流和批处理，Table和SQLAPI。⭐TableAPI是一种集成在Java、Scala和Python语言中的查询API，简单理...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）2.5.SQL的时间属性在小伙伴萌看下文之前，先看一下2.5节整体的思路，跟着博主思路走：⭐与离线处理中常见的时间分区字段一样，在实时处理中，时间属性也是一个核心概念。Flink支持处理时间、事件时间、摄入时间三种时间语义。⭐分别介绍三种时间语义的应用场景及案例。三种时间在生产环境的使用频次事件时间（SQL常用）处理时间（SQL几...

作者antigeneral了呀来源大数据羊说（ID：youngsay）作者antigeneral了呀4.SQL能力扩展篇4.1.SQLUDF扩展Module在介绍FlinkModule具体能力之前，我们先来聊聊博主讲述的思路：⭐背景及应用场景介绍⭐FlinkModule功能介绍⭐应用案例：FlinkSQL支持HiveUDF4.1.1.FlinkSQLModule应用场景兄弟们，想想其实大多数公司都是从离线数仓开始建设的。相信大家必然在自己的生产环境中开发了非常多的HiveUDF。随着需求对于时效性要求的增高，...

作者antigeneral了呀来源大数据羊说（ID：youngsay）转载请联系授权（微信ID：antigeneral）3.SQLUDF篇FlinkTable\SQLAPI允许用户使用函数进行数据处理、字段标准化等处理。3.1SQL函数的归类Flink中的函数有两个维度的归类标准。⭐一个归类标准是：系统（内置）函数和Catalog函数。系统函数没有命名空间，只能通过其名称来进行引用。Catalog函数属于Catalog和数据库，因此它们拥有Catalog和数据库的命名空间。用户可以通过全部...

一、介绍在上篇文章中，我们详细的介绍了kafka的架构模型，在集群环境中，kafka可以通过设置分区数来加快数据的消费速度。光知道理论还不行，我们得真真切切的实践起来才行！下面，我将结合生产环境的真实案例，以​​SpringBoot​​技术框架为基础，向大家介绍kafka的使用以及如何实现数据高吞吐！二、程序实践最近，公司大数据团队每天凌晨会将客户的订单数据进行统计计算，然后把业绩数据推送给我们，以便销售人员每天能看到...