鸿蒙开发者社区

在NebulaGraph的日常测试中，我们会经常在服务器上部署NebulaGraph。为了提高效率，我们需要一种工具，能帮我们做到快速部署，主要的需求：可以使用非root账户部署NebulaGraph，这样我们可以针对这个用户设置cgroup做资源限制。可以在操作机上更改配置文件，然后分发到部署的集群上，方便我们做各种调参的测试。可以使用脚本调用，方便以后我们继承在测试的平台或工具上。工具选择上，早期有Fabric和Puppet，比较新的工具有Ansi...

NebulaGraph数据导入工具NebulaImporter的数据导入性能到底如何？社区用户duspring亲测给你答案。​一、测试服务器配置二、NebulaCluster环境操作系统：CentOS7.5+具备官方要求的软件环境，如：gcc版本7.1.0+，cmake版本3.5.0+，glibc版本2.12+及基本依赖包Nebula版本：V2.0.0后端存储：3个节点，RocksDB三、数据准备及数据内容格式说明补充说明：edge.csv139,951,301计约：1.4亿条，6.6Gvertex.csv74,314,635计约：7千万，4.6G...

本文整理自NebulaGraph开发者布道师古思为（Wey）最近我试着搭建了方便大家一键试玩的NebulaGraph中的Spark相关的项目，今天我把它们整理成了文章分享给大家。而且，我梳理出来了PySpark下的NebulaSparkConnector的使用方式，后边也会一并贡献到文档里。>>>>NebulaGraph的三个Spark子项目我曾经围绕NebulaGraph的所有数据导入方法画过一个草图​​https:www.siwei.iosketchesnebuladataimportoptions​​（参考下图），其中已经...

在先前的QueryEngine源码解析中，我们介绍了2.0中​​QueryEngine​​🔗和1.0的主要变化和大体的结构：大家可以大概了解到用户通过客户端发送一条查询语句，QueryEngine是如何解析语句、把语句构建为抽象语法树，在抽象语法树进行校验、生成执行计划的过程。本文会通过2.0中新增的子图算法模块继续讲解QueryEngine背后所做的内容，并着重介绍执行计划生成的过程，以便加强用户对源码更好地理解。子图的定义子图是指节点集合和边...

我最近注意到很多同学对于ORM框架的需求比较迫切，而且有热心的同学已经捐赠了自己开发的项目，Nebula社区也在workingonit。下面主要介绍一下我们在使用MyBatis操作NebulaGraph方面的一些经验，希望能够帮助到大家。>>>>MyBatisJava开发的同学想必对MyBatis都比较熟悉了。MyBatis是一款优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射，并且免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。>>>>实现途径主...

由于NebulaGraph在持续研发过程中会频繁地更改返回数据的格式，这样就会造成了上层应用程序无法正确解析数据。比如在v2.0.0发布的时候，改变了SHOWJOBS的格式，造成了Studio解析的时候页面崩溃。为了避免再次发生这样的悲剧问题，可以使用NebulaGraph提供的测试框架，方便地增加测试用例。>>>>环境准备按照文档「源码编译安装」（链接：​​https:docs.nebulagraph.com.cn2.0.14.deploymentandinstallation2.compileandinstalln...

图数据库是一种使用图结构进行语义查询的数据库，它使用节点、边和属性来表示和存储数据。图数据库的应用领域非常广泛，在反应事物之间联系的计算都可以使用图数据库来解决，常用的领域如社交领域里的好友推荐、金融领域里的风控管理、零售领域里的商品实时推荐等等。NebulaGraph简介与架构NebulaGraph是一个高性能、可线性扩展、开源的分布式图数据库，它采用存储、计算分离的架构，计算层和存储层可以根据各自的情况弹性扩容...

>>>>搜索推荐架构在讲具体的应用场景之前，我们先看下智联招聘搜索和推荐页面的截图。这是一个简单的智联搜索页面，登录到智联招聘App的用户都能看到，但是这个页面背后涉及到的推荐、召回逻辑以及排序概念，是本文的重点。功能矩阵从功能上来说，从矩阵图我们可以了解到做搜索和推荐时，系统分为Online和Offline两个部分。在Online部分，主要涉及到实时操作，例如：搜索某个关键词、实时展示个人推荐。而这些功能性操作需要其...

导读：OPPO知识图谱是OPPO数智工程系统小布助手团队主导、多团队协作建设的自研大规模通用知识图谱，目前已达到数亿实体和数十亿三元组的规模，主要落地在小布助手知识问答、电商搜索等场景。本文主要分享OPPO知识图谱建设过程中算法相关的技术挑战和对应的解决方案，主要包括实体分类、实体对齐、信息抽取、实体链接和图谱问答query解析等相关算法内容。全文围绕下面四点展开：背景OPPO知识图谱知识图谱在小布助手中的应用总结...

我是数据开发的实习生，在这个岗位上工作四个月左右的时间了，期间负责开发数据平台的功能我是数据开发的实习生，在这个岗位上工作四个月左右的时间了，期间负责开发数据平台的功能。因为工作中涉及的一些数据的读写性能较低，所以在调研后，选择部署一个Nebula集群。之所以选择Nebula,是因为它的技术体系比较成熟，社区也比较完善，对刚刚接触的它的人非常友好，所以很快就开始投入使用了。在使用过程中，有一些自己的见解，和...

>>>>前言NebulaGraph本身提供了高性能的OLTP查询，可以较好地实现各种实时的查询场景，同时它也提供了基于SparkGraphX的nebulaalgorithm库以便支持实时的图算法，这里给Nebula点个赞👍，很不错！但实践过程中，我发现部分OLAP场景中，想实现模式匹配分析，Nebula的支撑就显得不那么完善了。这里我对模式匹配的解释是：在一张大图中，根据特定的规则抽取出对应的子图。举一个简单的例子，比如想要对每个点都进行二度扩散，并按照...

​本文整理自​​可视化onLive​​🔗主题直播，在本期直播中3位可视化嘉宾讲述了他们眼中的可视化，以及他们在可视化项目实践中踩过的那些“坑”。卢晓龙：可视化图探索工具NebulaExplorer产品负责人，可视化技术专家；苗壮：可视化图探索工具NebulaExplorer核心开发，可视化技术专家；汪洋：可视化监控运维工具NebulaDashboard产品负责人，可视化技术专家；>>>>可视化是什么？从个人理解来说的话，可视化便是将我们平时看到的...

>>>>背景刚学习图数据的内容，当前网上充斥大量的安装文档，参差不齐，部署起来令人十分头疼。现整理一份比较完整的安装文档，供大家学习参考。>>>>版本macOS12.0.1（Intel）Docker20.10.14NebulaGraphv3.x(20220415master分支)NebulaStudiov3.2.2NebulaConsolev3.0.0(20220415master分支)注：以上软件版本为20220415最新版本>>>>安装教程以下内容亲测可用。Docker安装下载网站相关地址：InstallDockerDesktoponMacDockerDocume...

引言数据库插入操作的语句为insertintotablevalues(a1,b1)，涉及到SQL层和存储层，其中SQL层需要解析SQL语句，生成抽象语法树(AST)，计算表达式等，存储层需要判断主键冲突，包括增量数据和基线数据上的主键冲突，如果是非重复主键，则将数据插入到增量数据中。上条插入语句只插入一行数据，称之为单条插入，相应地，还可以在一条语句中插入多行数据，insertintotablevalues(a1,b1),(a2,b2),(a3,b3)，称之为批量插入。批量插入...

普通服务器具有良好的性价比，因此在互联网等行业得到了广泛的应用。但普通服务器也不得不面对2%4%的年故障率([1])，于是必须高可用的传统数据库只得很悲催地使用性价比低得可怜的高可靠服务器。分布式一致性协议（distributedconsensusprotocol）是迄今为止最有效的解决服务器不可靠问题的途径，因为它使得一组服务器形成一个相互协同的系统，从而当其中部分服务器故障后，整个系统也能够继续工作。而Paxos协议([2])则几乎成了...

1背景  马老师曾说过：“人类正从IT时代走向DT时代”，而在DT时代，数据量的爆增，对现有系统数据处理效率提出了更高的要求，近几年，为了提升计算效率，JIT(JustInTimeCompiler)技术得到了广泛的应用，LLVM对这些技术提供了很好的支持，并且能够很方便的供开发者使用。  为了既能很好的支持OLTP场景，同时也能对OLAP的场景（大部分执行时间是在进行表达式计算）快速响应。我们使用LLVM提供的相关技术，实现了表达式编译执...

本文整理自BIGO在nMeetp上的主题分享，主要介绍BIGO过去一年在数据管理建设方面的理解和探索。而BIGO数据管理的核心重点在于元数据平台的建设，用以支撑上层数据管理和建设应用，包括数据地图、数据建模、数据治理和权限管理等等。本文主要围绕以下五个方向展开：OneMeta基础建设；图引擎：Nebula替换JanusGraph数据资产平台应用；Adhoc即席查询；未来规划BIGO是欢聚时代（YY直播母公司）原移动新产品部基础上成立的独立公司，...

现象有业务系统反应，通过主键条件查询用户表，得到的一行结果与条件中的主键值不一致，这是什么鬼啊？结论设置JDBC参数不合理（queryTimeout10s，socketTimeout10s），导致在异常情况下，第二条get获得了第一条get的结果，得到错误的数据，数据库表现正常；详细的出错流程(1)应用设置queryTimeout10s，socketTimeout10s；(2)在JDBC代码中，socketTimeout是利用fd超时实现的，而queryTimeout是另外起一个任务(cancel线程)，监听...

介绍OceanBase分区能按照某种规则自动地对数据表进行划分，每个分区存储表格的一部分数据。相对于分库分表方案，分区功能既能对用户比较透明，又具有良好的可扩展性。在OceanBase中，针对分区表构建索引时，会对该表格的每个分区进行外部排序，构建相应的索引表，由于分区的数据量通常是GB，甚至是TB级别的，采用串行的外部排序构建索引容易达到瓶颈，因此，需要分区内并行构建索引的功能。本文主要描述了OceanBase分区内并行构...

介绍层次查询（HierarchicalQuery）是一种具有特殊功能的查询语句，通过它能够将HierarchicalData按照层次关系展示出来。HierarchicalData是指Relation中的数据之间具有层次关系。这种关系在现实生活中十分常见，例如：组织架构中leader和member之间的关系企业中上下级部门之间的关系Web网页中，页面跳转的关系HierarchicalData实际上较适合存储在HierarchicalDataMode数据库中，在这类数据库中数据就是按照其层次关系（树形结...