鸿蒙开发者社区

NebulaGraph数据导入工具NebulaImporter的数据导入性能到底如何？社区用户duspring亲测给你答案。​一、测试服务器配置二、NebulaCluster环境操作系统：CentOS7.5+具备官方要求的软件环境，如：gcc版本7.1.0+，cmake版本3.5.0+，glibc版本2.12+及基本依赖包Nebula版本：V2.0.0后端存储：3个节点，RocksDB三、数据准备及数据内容格式说明补充说明：edge.csv139,951,301计约：1.4亿条，6.6Gvertex.csv74,314,635计约：7千万，4.6G...

在先前的QueryEngine源码解析中，我们介绍了2.0中​​QueryEngine​​🔗和1.0的主要变化和大体的结构：大家可以大概了解到用户通过客户端发送一条查询语句，QueryEngine是如何解析语句、把语句构建为抽象语法树，在抽象语法树进行校验、生成执行计划的过程。本文会通过2.0中新增的子图算法模块继续讲解QueryEngine背后所做的内容，并着重介绍执行计划生成的过程，以便加强用户对源码更好地理解。子图的定义子图是指节点集合和边...

图数据库是一种使用图结构进行语义查询的数据库，它使用节点、边和属性来表示和存储数据。图数据库的应用领域非常广泛，在反应事物之间联系的计算都可以使用图数据库来解决，常用的领域如社交领域里的好友推荐、金融领域里的风控管理、零售领域里的商品实时推荐等等。NebulaGraph简介与架构NebulaGraph是一个高性能、可线性扩展、开源的分布式图数据库，它采用存储、计算分离的架构，计算层和存储层可以根据各自的情况弹性扩容...

我最近注意到很多同学对于ORM框架的需求比较迫切，而且有热心的同学已经捐赠了自己开发的项目，Nebula社区也在workingonit。下面主要介绍一下我们在使用MyBatis操作NebulaGraph方面的一些经验，希望能够帮助到大家。>>>>MyBatisJava开发的同学想必对MyBatis都比较熟悉了。MyBatis是一款优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射，并且免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。>>>>实现途径主...

>>>>搜索推荐架构在讲具体的应用场景之前，我们先看下智联招聘搜索和推荐页面的截图。这是一个简单的智联搜索页面，登录到智联招聘App的用户都能看到，但是这个页面背后涉及到的推荐、召回逻辑以及排序概念，是本文的重点。功能矩阵从功能上来说，从矩阵图我们可以了解到做搜索和推荐时，系统分为Online和Offline两个部分。在Online部分，主要涉及到实时操作，例如：搜索某个关键词、实时展示个人推荐。而这些功能性操作需要其...

>>>>前言NebulaGraph本身提供了高性能的OLTP查询，可以较好地实现各种实时的查询场景，同时它也提供了基于SparkGraphX的nebulaalgorithm库以便支持实时的图算法，这里给Nebula点个赞👍，很不错！但实践过程中，我发现部分OLAP场景中，想实现模式匹配分析，Nebula的支撑就显得不那么完善了。这里我对模式匹配的解释是：在一张大图中，根据特定的规则抽取出对应的子图。举一个简单的例子，比如想要对每个点都进行二度扩散，并按照...

我是数据开发的实习生，在这个岗位上工作四个月左右的时间了，期间负责开发数据平台的功能我是数据开发的实习生，在这个岗位上工作四个月左右的时间了，期间负责开发数据平台的功能。因为工作中涉及的一些数据的读写性能较低，所以在调研后，选择部署一个Nebula集群。之所以选择Nebula,是因为它的技术体系比较成熟，社区也比较完善，对刚刚接触的它的人非常友好，所以很快就开始投入使用了。在使用过程中，有一些自己的见解，和...

​本文整理自​​可视化onLive​​🔗主题直播，在本期直播中3位可视化嘉宾讲述了他们眼中的可视化，以及他们在可视化项目实践中踩过的那些“坑”。卢晓龙：可视化图探索工具NebulaExplorer产品负责人，可视化技术专家；苗壮：可视化图探索工具NebulaExplorer核心开发，可视化技术专家；汪洋：可视化监控运维工具NebulaDashboard产品负责人，可视化技术专家；>>>>可视化是什么？从个人理解来说的话，可视化便是将我们平时看到的...

1背景  马老师曾说过：“人类正从IT时代走向DT时代”，而在DT时代，数据量的爆增，对现有系统数据处理效率提出了更高的要求，近几年，为了提升计算效率，JIT(JustInTimeCompiler)技术得到了广泛的应用，LLVM对这些技术提供了很好的支持，并且能够很方便的供开发者使用。  为了既能很好的支持OLTP场景，同时也能对OLAP的场景（大部分执行时间是在进行表达式计算）快速响应。我们使用LLVM提供的相关技术，实现了表达式编译执...

同义词（Synonym）是数据库内对象的别名。数据库中的大部分数据库对象，如表、视图、物化视图、序列、函数、存储过程、包、dblink、同义词等等，均可以根据实际情况为他们定义同义词。使用同义词可以在一定层度上降低应用开发者编写SQL的复杂度，用户可以不用关心一个Object的所属关系（例如table在哪个database下、是dblink其他数据库的对象还是本地对象），直接使用同义词即可。同义词带来的好处并不仅仅是别名这么简单，例如...

现象有业务系统反应，通过主键条件查询用户表，得到的一行结果与条件中的主键值不一致，这是什么鬼啊？结论设置JDBC参数不合理（queryTimeout10s，socketTimeout10s），导致在异常情况下，第二条get获得了第一条get的结果，得到错误的数据，数据库表现正常；详细的出错流程(1)应用设置queryTimeout10s，socketTimeout10s；(2)在JDBC代码中，socketTimeout是利用fd超时实现的，而queryTimeout是另外起一个任务(cancel线程)，监听...

本文整理自BIGO在nMeetp上的主题分享，主要介绍BIGO过去一年在数据管理建设方面的理解和探索。而BIGO数据管理的核心重点在于元数据平台的建设，用以支撑上层数据管理和建设应用，包括数据地图、数据建模、数据治理和权限管理等等。本文主要围绕以下五个方向展开：OneMeta基础建设；图引擎：Nebula替换JanusGraph数据资产平台应用；Adhoc即席查询；未来规划BIGO是欢聚时代（YY直播母公司）原移动新产品部基础上成立的独立公司，...

>>>>背景刚学习图数据的内容，当前网上充斥大量的安装文档，参差不齐，部署起来令人十分头疼。现整理一份比较完整的安装文档，供大家学习参考。>>>>版本macOS12.0.1（Intel）Docker20.10.14NebulaGraphv3.x(20220415master分支)NebulaStudiov3.2.2NebulaConsolev3.0.0(20220415master分支)注：以上软件版本为20220415最新版本>>>>安装教程以下内容亲测可用。Docker安装下载网站相关地址：InstallDockerDesktoponMacDockerDocume...

介绍OceanBase分区能按照某种规则自动地对数据表进行划分，每个分区存储表格的一部分数据。相对于分库分表方案，分区功能既能对用户比较透明，又具有良好的可扩展性。在OceanBase中，针对分区表构建索引时，会对该表格的每个分区进行外部排序，构建相应的索引表，由于分区的数据量通常是GB，甚至是TB级别的，采用串行的外部排序构建索引容易达到瓶颈，因此，需要分区内并行构建索引的功能。本文主要描述了OceanBase分区内并行构...

普通服务器具有良好的性价比，因此在互联网等行业得到了广泛的应用。但普通服务器也不得不面对2%4%的年故障率([1])，于是必须高可用的传统数据库只得很悲催地使用性价比低得可怜的高可靠服务器。分布式一致性协议（distributedconsensusprotocol）是迄今为止最有效的解决服务器不可靠问题的途径，因为它使得一组服务器形成一个相互协同的系统，从而当其中部分服务器故障后，整个系统也能够继续工作。而Paxos协议([2])则几乎成了...

介绍层次查询（HierarchicalQuery）是一种具有特殊功能的查询语句，通过它能够将HierarchicalData按照层次关系展示出来。HierarchicalData是指Relation中的数据之间具有层次关系。这种关系在现实生活中十分常见，例如：组织架构中leader和member之间的关系企业中上下级部门之间的关系Web网页中，页面跳转的关系HierarchicalData实际上较适合存储在HierarchicalDataMode数据库中，在这类数据库中数据就是按照其层次关系（树形结...

引言数据库插入操作的语句为insertintotablevalues(a1,b1)，涉及到SQL层和存储层，其中SQL层需要解析SQL语句，生成抽象语法树(AST)，计算表达式等，存储层需要判断主键冲突，包括增量数据和基线数据上的主键冲突，如果是非重复主键，则将数据插入到增量数据中。上条插入语句只插入一行数据，称之为单条插入，相应地，还可以在一条语句中插入多行数据，insertintotablevalues(a1,b1),(a2,b2),(a3,b3)，称之为批量插入。批量插入...

Gartner2014年首次提出HTAP（HybridTransactionAnalyticalProcessing，混合事务分析处理）并给出明确的定义：即同时支持OLTP和OLAP场景，需要创新的计算存储框架，在一份数据上保证事务的同时支持实时分析，省去费时的ETL过程。在我看来，HTAP代表了一种技术理想，但是落地的时候难免会遇到各种问题，包括：1.HTAP对用户意味着什么？一个OLTP和OLAP“无所不能”的系统真的是用户想要的吗？2.基于一份数据的假设，HTAP到底牺牲OL...

此前，通过《向量化引擎对HTAP的价值与技术思考》一文，我们分享了OceanBase怎样看待向量化引擎技术，并介绍了用它解决复杂查询场景的技术思路。HTAP的本意是把OLTP（事务处理）和OLAP（分析处理）放在一个系统上更好地运行，帮助客户开展实时业务决策，降低运营成本并提升创新效率。因为OLTP、OLAP使用资源（CPU、内存、IO等）的方式不同，同时运行时容易产生资源干扰。如何将二者的相互影响降到最小，成为实现HTAP的关键，也...

编者按本文系华东师范大学俞融&王清帅两位同学所著，本篇也是OceanBase学术系列稿件第六篇。「俞融，华东师范大学数据科学与工程学院在读硕士生。研究生期间在数据学院DBHammer组从事面向HTAP数据库系统的评测相关技术研究，致力于定义新型benchmark并开发开源工具服务于HTAP数据库公平、公正、高效评测工作。」「王清帅，华东师范大学数据科学与工程学院在读博士生。博士生期间在华东师范大学数据学院DBHammer组致力数据库系统...