故事的开始开始Debug在日常的调试过程中,我们总会遇到一些有趣的bug,在本文我就遇到了一个有意思的查询结果不一致问题。故事的开始我们在测试NebulaGraph的MATCH语句的时候发现一个很神奇的事情:(rootnebula)[gdlancer]>match(v1)[e1..1]>(v2)whereid(v1)in[1,2,3,4]and(v2)[e1..1]>(v1)returne;++e++[[:Rel52>20{Rel50Bool:true,Rel51Bool:true,Rel52Double:0.533698,Rel53String:"StephenCurry",Rel54Double:0.162998}]][[...
2023-02-28 15:24:16 2610浏览 0点赞 0回复 0收藏
本文目录01基于事件的数据资产平台设计设计目标核心功能类型定义开源系统ApacheAtlas资产采集平台架构02NebulaGraph在众安资产平台的实践图数据库选型为什么选择NebulaGraphNebulaGraph阿⾥云部署模式众安在NebulaGraph中的模型设计03未来展望本⽂整理⾃NebulaGraphx阿⾥云计算巢专场中众安科技的⼤数据应⽤⾼级专家曾⼒带来的《众安资产在NebulaGraph的应⽤实践》分享,下附视频⼤家好,我是众安数据科学应⽤中⼼的曾⼒,今天...
2023-02-28 15:22:41 260浏览 0点赞 0回复 0收藏
本文目录什么是BR什么是NebulaGraphAgent上手BR1.下载NebulaGrpahAgent二进制文件2.启动nebulaagent环境准备部署NebulaGraphAgent服务使用BR备份数据查看备份信息使用BR恢复数据清理备份数据NebulaGraphBR开源已经有一段时间了,为了给社区用户提供一个更稳、更快、更易用的备份恢复工具,去年对其进行了比较大的重构。NebulaGraphBR(以下简称BR)分为社区版和企业版两个版本,企业版在社区版功能的基础上,额外提供了增量备份...
2023-02-28 15:18:24 288浏览 0点赞 0回复 0收藏
在第一期🔗中,我们简单了解了一些nGQL的常用语句。本文旨在帮助NebulaGraph新手快速了解查询语句调优,读懂查询计划。一直以来,NebulaGraph社区里最热门之一的话题都是“我如何表达这样的查询最好?“、”我这个查询还有优化空间吗?“这一类的话题。今天,我就来试着介绍下如何理解查询语句的执行与优化过程,帮助大家更好地脚踩在地上去写自己的查询语句。同时,这篇文章也是nGQL简明教程系列的第二期。在你通过本...
2023-02-28 15:16:38 268浏览 0点赞 0回复 0收藏
要开放,不要封闭在开源社区中,开放的一个重要意义是社区内的沟通、讨论应该是透明、包容并且方便所有成员访问的。这意味着社区中的任何人都应该能够参与讨论和决策过程,并且所有相关信息应该公开和自由地与他人共享。在公共场合进行沟通在开源理念中是重要的,正是这种方式使得社区的成员可以进行有效地共同工作,分享想法和反馈,为项目或社区做出贡献。但是,社区在实践开放性沟通的过程中,或多或少都会遇到以下一些情况...
2023-02-28 15:15:11 271浏览 0点赞 0回复 0收藏
如果你装好某款数据库产品,比如:分布式图数据库NebulaGrpah,跃跃欲试的第一步是不是就让它干活搞数据呢?好的,现在问题来了,如何把相对原始的数据处理、建模并导入NebulaGraph呢?本文是一个端到端的示例演示,从多数据源聚合数据,清理、利用dbt转换成NebulaGraph建模的属性图点边记录,最后导入成图谱的全流程。构建知识图谱现在假设你是一个类似于Netflix、爱奇艺之类的视频服务提供商,我们需要利用图数据库搭建一个用...
2023-02-28 15:14:29 731浏览 0点赞 0回复 0收藏
青藤云安全是一家主机安全独角兽公司,看名字就知道当前很大一块方向专注云原生应用安全,目前主营的是主机万相容器蜂巢产品,行业领先,累计支持800万Agent。当前公司基于NebulaGraph结合图技术开发的下一代实时入侵检测系统已经初步投入市场,参与了2022护网行动,取得了不错的反响。本文将简单介绍基于图的入侵检测系统,抛砖引玉,期望能有更多优秀人才参与挖掘图与安全的结合应用。入侵检测的现状与挑战主流入侵检测系统入...
2023-02-28 15:13:40 320浏览 0点赞 0回复 0收藏
01.环境准备🔧硬件:Spark集群:三台机器,每台96core,256G内存NebulaGraph集群:三台机器,每台128core,252G内存,SSD,双万兆网卡数据:LDBCsf100数据💻软件:Spark版本:2.4.4NebulaGraph版本:3.3.002.NebulaGraph优化配置在进行大批量数据导入时,可以调整NebulaGraphStorage服务和Graph服务的配置,以达到最大导入性能。请根据NebulaGraph的配置描述和你的实际环境资源进行参数调整。在本次实践中,NebulaGraph的集群配...
2023-02-28 15:12:59 233浏览 0点赞 0回复 0收藏
初识开源之夏结缘NebulaGraphHello,⼤家好,我叫刘⽂豪。⽬前是⼀名计算机专业的研⼆研究⽣,就读于北京邮电⼤学。我很⾼兴能参与到这次的开源之夏项⽬中,加⼊到了NebulaGraph的社区建设中,并成功完成了可视化⼤屏项⽬的实现。说起与开源之夏结缘,需要归功于我的好朋友男哥,他是我实验室的同⻔,在研⼀的时候给予了我很多帮助。他是⼀名技术控,对数据库、云原⽣、传统前后端开发等各个领域都有涉猎,在本次开源之夏的活动...
2023-02-28 15:04:35 154浏览 0点赞 0回复 0收藏
准备工作在正式开始nGQL实操之前,记得先看过文档「快速入门流程」,部署、连接过NebulaGraph,并且看过了「常用命令」。如果你还没看过这两个文档,为了跟上进度,记得先快速过一遍,上面两个文档链接可在文末「参考资料」中获取。我们的目标是本教程目的在于让大家大概知道了NebulaGraph的查询语句后,解决“不知道什么样的查询应该用什么语句”的问题。nGQL是什么我们先强调一下概念:nGQL是NebulaGraphQueryLanguage的缩写...
2023-02-28 15:03:00 145浏览 0点赞 0回复 0收藏
01迁移背景我们之前图数据用的是单机版的AgensGraph,后面因为单机带来的性能限制问题,迁移到了分布式数据库JanusGraph,详细的迁移信息可以看我之前的一篇文章《百亿级图数据JanusGraph迁移之旅》。但是随着数据量和业务调用量的增加,新的问题又出现了——单次查询的耗时很高个别业务场景已经到了10s,数据量稍微多点,逻辑复杂点的查询耗时也在23s左右,这严重影响了整个业务流程的性能和相关业务的发展。JanusGraph的架构决...
2022-09-30 11:20:10 1023浏览 0点赞 0回复 0收藏
在上一篇[1]中,我们通过NetworkX和Gephi展示了<权力的游戏>中的人物关系。在本篇中,我们将展示如何通过NetworkX访问图数据库NebulaGraph。01NetworkXNetworkX[2]是一个用Python语言开发的图论与复杂网络建模工具,内置了大量常用的图与复杂网络分析算法,可以方便地进行复杂网络数据分析、仿真建模等工作,功能丰富,简单易用。在NetworkX中,图是由顶点、边和可选的属性构成的数据结构。顶点表示数据,边是由两个顶...
2022-09-30 11:19:57 1567浏览 0点赞 0回复 0收藏
图数据库在挖掘黑灰团伙以及建立安全知识图谱等安全领域有着天然的优势。为了能更好的服务业务,选择一款高效并且贴合业务发展的图数据库就变得尤为关键。本文挑选了几款业界较为流行的开源图数据库与NebulaGraph进行了多角度的对比。01图数据库介绍Neo4jNeo4j是目前业界广泛使用的图数据库,包含社区版本和商用版本,本文中使用社区版本。HugeGraphHugeGraph是百度基于JanusGraph改进而来的分布式图数据库,主要应用场景是解决...
2022-09-30 11:19:39 1392浏览 0点赞 0回复 0收藏
我们都知道《权利的游戏》在全世界都很多忠实的粉丝,除去你永远不知道剧情下一秒谁会挂这种意外“惊喜”,当中复杂交错的人物关系也是它火爆的原因之一,而本文介绍如何通过NetworkX访问开源的分布式图数据库NebulaGraph,并借助可视化工具——Gephi来可视化分析《权力的游戏》中的复杂的人物图谱关系。01数据集本文的数据集来源:冰与火之歌第一卷(至第五卷)[1]人物集(点集):书中每个角色建模为一个点,点只有一个属性:姓...
2022-09-30 11:19:22 987浏览 0点赞 0回复 0收藏
由于NebulaGraph的底层存储使用了RocksDB,出于运维管理需要,我们的社区用户chenxu14在pr2243为NebulaGraph贡献了RocksDB统计信息收集的功能👏💐通过在storage服务配置文件中修改enablerocksdbstatisticstrue即可开启收集RocksDB统计信息的功能。开启后,将会定期将统计信息转储到每个DB服务的日志文件中。最近,chenxu14为此功能带来了新的用法——支持通过storage服务自带的Web接口获取统计信息。此次pr提供了3种通过Web服务...
2022-09-30 11:19:04 948浏览 0点赞 0回复 0收藏
对于一些刚开始接触NebulaGraph开源库的小伙伴来说,刚开始可能和我一样,想要提高自己,看看大神们的代码然后试着能够做点什么,或许能够修复一个看起来并不是那么困难的Bug。但是面对如此多的代码,我裂开了,不知道如何下手。最后硬着头皮,再看了一遍又一遍代码,跑了一个又一个用例之后终于有点眉目了。下面就分享下个人学习NebulaGraph开源代码的过程,也希望刚接触NebulaGraph的小伙伴能够少走弯路,快速入门。另外Nebul...
2022-09-30 11:17:58 1805浏览 0点赞 0回复 0收藏
这篇文章将介绍图数据库NebulaGraph的查询语言nGQL和SQL的区别。不过我们不会深入探讨这两种语言,而是将这两种语言做对比,以帮助您从SQL过渡到nGQL。SQL(StructuredQueryLanguage)是具有数据操纵和数据定义等多种功能的数据库语言,这种语言是一种特定目的编程语言,用于管理关系数据库管理系统(RDBMS),或在关系流数据管理系统(RDSMS)中进行流处理。nGQL是一种类SQL的声明型的文本查询语言,相比于SQL,nGQL为可扩展、支...
2022-09-30 11:17:38 1098浏览 0点赞 0回复 0收藏
01从Hadoop说起近年来随着大数据的兴起,分布式计算引擎层出不穷。Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用。Hadoop的设计核心思想来源于GoogleMapReduce论文,灵感来自于函数式语言中的map和reduce方法。在函数式语言中,map表示针对列表中每个元素应用一个方法,reduce表示针对列表中的元素做迭代计算。通过MapReduce算法,可以将数据根据某些特征进行分类规约,处理并得到最终的...
2022-09-30 11:17:12 1018浏览 0点赞 0回复 0收藏
在上篇文章中(D3.js力导向图的显示优化),我们说过D3.js在自定义图形上相较于其他开源可视化库的优势,以及如何对文档对象模型(DOM)进行灵活操作。既然D3.js辣么灵活,那是不是实现很多我们想做的事情呢?在本文中,我们将借助D3.js的灵活性这一优势,去新增一些D3.js本身并不支持但我们想要的一些常见的功能。01构建D3.js力导向图在这里我们就不再细说d3force粒子物理运动模块原理,感兴趣同学可以看看我...
2022-09-30 11:16:52 881浏览 0点赞 0回复 0收藏
在日常工作中,你是否遇到以下场景:Github存在多个repo,日常工作中需要一个个地手动筛选大量待merge的pullrequests要找出多个repo中readytoreview的pullrequests,要手动筛选,然后一遍又一遍地粘贴复制提交dev进行review倍感无聊想自动推送GitHub待merge的prs,GitHubWebhooks却没有该Event……用技术来解决PM枯燥的approvalpr工作,本文将阐述如何自动化获取GitHubOrganization下各个repo待merge的pullrequests并通知相关人...
2022-09-30 11:16:16 1493浏览 0点赞 0回复 0收藏