开源基础软件社区

本文主要讲述如何使用数据导入工具NebulaGraphExchange将数据从Neo4j导入到NebulaGraphDatabase。在讲述如何实操数据导入之前，我们先来了解下NebulaGraph内部是如何实现这个导入功能的。01Exchange数据处理原理我们这个导入工具名字是NebulaGraphExchange，采用Spark作为导入平台，来支持海量数据的导入和保障性能。Spark本身提供了不错的抽象——DataFrame，使得可以轻松支持多种数据源。在DataFrame的支持下，添加新的数据源...

本文作者系微信技术专家李本利图数据在社交推荐、多跳实时计算、风控和安全等领域有可期待的前景。如何用图数据库高效存储和查询大规模异构图数据，是一个重大挑战。本文描述了开源分布式图数据库NebulaGraph实践中遇到的问题，并通过深度定制，实现：大数据集存储、小时级全量导入、多版本控制、秒级回滚、毫秒级访问等特性。01背景为大众所熟知的图数据库大多在大数据集合上束手无策，如：Neo4j的社区版本，采用Cypher语言，...

各位朋友上午好，我是来自中国移动的算法工程师汪海涛。接下来我主要聊一聊图数据库在中国移动，特别是金融风控场景的落地应用。>>>>1.图平台建设概况1.1为什么选择NebulaGraph首先我们聊一聊中国移动是如何建设图平台。中国移动有非常多的数据，全国大概9亿的用户每天都会产生海量的数据。如何从这么大数据里面挖掘出有用的信息，然后用到金融风控场景？这就是我们需要做的事情。之前，我们往往是以手机号为维度去提取特征，然...

据说，技术内容领域、传播领域的专家和决策者们会在中国技术传播大会「tcworldChina2022」大会上分享心得。作为一名技术文档工程师，本着了解相关行业的发展趋势和提升自我为NebulaGraph社区创造更大价值的心态，参加了此次大会。第一次参加tcworldChina技术传播大会，干货挺多，记录一下参会的收获和感受。tc，技术交流，全称technicalcommunication。技术交流会中技术内容是如何进行传播呢？初看，会觉得技术传播和作为内容生...

API网关介绍什么是API网关API网关是位于客户端和服务器之间的“中间人”，用于管理、监控和保护API。它可以在API之前执行一些操作，例如：身份验证、授权、缓存、日志记录、审计、流量控制、安全、防火墙、压缩、解压缩、加密、解密等。API网关可以工作在TCPIP4层和OSI7层。跑在7层的API网关可以使用多种协议，例如：HTTP、HTTPS、WebSocket、gRPC、MQTT等。在这些应用层协议中做一些操作，比如，请求的重写、转发、合并、重试...

基本概念推荐系统诞生的初衷是解决互联网时代才面临的信息量过载问题，从最初的Amazon图书推荐、商品推荐，到电影、音乐、视频、新闻推荐，如今大多数网站、App中都有至少一个基于推荐系统生成的供用户选择的物品列表界面。而这些物品的推荐基本都是基于用户喜好、物品的特征、用户与物品交互历史和其他相关上下文去做的。一个推荐系统会包含以下几个部分：数据、特征的处理从特征出发，生成推荐列表过滤、排序推荐列表这其中，...

NebulaGraph的架构简介为了方便对NebulaGraph尚未了解的读者也能快速直接从贡献代码为起点了解它，我把开发、贡献内核代码入手所需要的基本架构知识在这里以最小信息量的形式总结一下。作为前导知识，请资深的NebulaGraph玩家直接跳过这一章节。服务、进程NebulaGraph的架构和GoogleSpanner、TiDB很相似，核心部分只有三种服务进程：Graph服务、Meta服务和Storage服务。它们之间彼此通过TCP之上的ThriftRPC协议进行通信。计算层...

Raft是一种广泛使用的分布式共识算法。NebulaGraph底层采用Raft算法实现metad和storaged的分布式功能。Raft算法使NebulaGraph中的metad和storaged能够集群化部署、实现了多副本和高可用，同时storaged通过multiraft模块实现了数据分片，分散了系统的负载，提升系统的吞吐。作为分布式系统的基石Raft有非常明显的优势，但这也伴随着不小的挑战——Raft算法的实现极其容易出错，同时算法的测试和调试也是一项巨大的挑战。NebulaGr...

搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。元数据治理系统元数据治理系统是一个提供了所有数据在哪、格式化方式、生成、转换、依赖、呈现和所属的一站式视图。元数据治理系统是所有数据仓库、数据库、表、仪表板、ETL作业等的目录接口（catalog），有了它，我们就不用在群里喊“大...

故事的开始开始Debug在日常的调试过程中，我们总会遇到一些有趣的bug，在本文我就遇到了一个有意思的查询结果不一致问题。故事的开始我们在测试NebulaGraph的MATCH语句的时候发现一个很神奇的事情：(rootnebula)[gdlancer]>match(v1)[e1..1]>(v2)whereid(v1)in[1,2,3,4]and(v2)[e1..1]>(v1)returne;++e++[[:Rel52>20{Rel50Bool:true,Rel51Bool:true,Rel52Double:0.533698,Rel53String:"StephenCurry",Rel54Double:0.162998}]][[...

本文目录01基于事件的数据资产平台设计设计目标核心功能类型定义开源系统ApacheAtlas资产采集平台架构02NebulaGraph在众安资产平台的实践图数据库选型为什么选择NebulaGraphNebulaGraph阿⾥云部署模式众安在NebulaGraph中的模型设计03未来展望本⽂整理⾃NebulaGraphx阿⾥云计算巢专场中众安科技的⼤数据应⽤⾼级专家曾⼒带来的《众安资产在NebulaGraph的应⽤实践》分享，下附视频⼤家好，我是众安数据科学应⽤中⼼的曾⼒，今天...

本文目录什么是BR什么是NebulaGraphAgent上手BR1.下载NebulaGrpahAgent二进制文件2.启动nebulaagent环境准备部署NebulaGraphAgent服务使用BR备份数据查看备份信息使用BR恢复数据清理备份数据NebulaGraphBR开源已经有一段时间了，为了给社区用户提供一个更稳、更快、更易用的备份恢复工具，去年对其进行了比较大的重构。NebulaGraphBR（以下简称BR）分为社区版和企业版两个版本，企业版在社区版功能的基础上，额外提供了增量备份...

在​​第一期​​🔗中，我们简单了解了一些nGQL的常用语句。本文旨在帮助NebulaGraph新手快速了解查询语句调优，读懂查询计划。一直以来，NebulaGraph社区里最热门之一的话题都是“我如何表达这样的查询最好？“、”我这个查询还有优化空间吗？“这一类的话题。今天，我就来试着介绍下如何理解查询语句的执行与优化过程，帮助大家更好地脚踩在地上去写自己的查询语句。同时，这篇文章也是nGQL简明教程系列的第二期。在你通过本...

要开放，不要封闭在开源社区中，开放的一个重要意义是社区内的沟通、讨论应该是透明、包容并且方便所有成员访问的。这意味着社区中的任何人都应该能够参与讨论和决策过程，并且所有相关信息应该公开和自由地与他人共享。在公共场合进行沟通在开源理念中是重要的，正是这种方式使得社区的成员可以进行有效地共同工作，分享想法和反馈，为项目或社区做出贡献。但是，社区在实践开放性沟通的过程中，或多或少都会遇到以下一些情况...

如果你装好某款数据库产品，比如：分布式图数据库NebulaGrpah，跃跃欲试的第一步是不是就让它干活搞数据呢？好的，现在问题来了，如何把相对原始的数据处理、建模并导入NebulaGraph呢？本文是一个端到端的示例演示，从多数据源聚合数据，清理、利用dbt转换成NebulaGraph建模的属性图点边记录，最后导入成图谱的全流程。构建知识图谱现在假设你是一个类似于Netflix、爱奇艺之类的视频服务提供商，我们需要利用图数据库搭建一个用...

青藤云安全是一家主机安全独角兽公司，看名字就知道当前很大一块方向专注云原生应用安全，目前主营的是主机万相容器蜂巢产品，行业领先，累计支持800万Agent。当前公司基于NebulaGraph结合图技术开发的下一代实时入侵检测系统已经初步投入市场，参与了2022护网行动，取得了不错的反响。本文将简单介绍基于图的入侵检测系统，抛砖引玉，期望能有更多优秀人才参与挖掘图与安全的结合应用。入侵检测的现状与挑战主流入侵检测系统入...

01.环境准备🔧硬件：Spark集群：三台机器，每台96core，256G内存NebulaGraph集群：三台机器，每台128core，252G内存，SSD，双万兆网卡数据：LDBCsf100数据💻软件：Spark版本：2.4.4NebulaGraph版本：3.3.002.NebulaGraph优化配置在进行大批量数据导入时，可以调整NebulaGraphStorage服务和Graph服务的配置，以达到最大导入性能。请根据NebulaGraph的配置描述和你的实际环境资源进行参数调整。在本次实践中，NebulaGraph的集群配...

初识开源之夏结缘NebulaGraphHello，⼤家好，我叫刘⽂豪。⽬前是⼀名计算机专业的研⼆研究⽣，就读于北京邮电⼤学。我很⾼兴能参与到这次的开源之夏项⽬中，加⼊到了NebulaGraph的社区建设中，并成功完成了可视化⼤屏项⽬的实现。说起与开源之夏结缘，需要归功于我的好朋友男哥，他是我实验室的同⻔，在研⼀的时候给予了我很多帮助。他是⼀名技术控，对数据库、云原⽣、传统前后端开发等各个领域都有涉猎，在本次开源之夏的活动...

准备工作在正式开始nGQL实操之前，记得先看过文档「快速入门流程」，部署、连接过NebulaGraph，并且看过了「常用命令」。如果你还没看过这两个文档，为了跟上进度，记得先快速过一遍，上面两个文档链接可在文末「参考资料」中获取。我们的目标是本教程目的在于让大家大概知道了NebulaGraph的查询语句后，解决“不知道什么样的查询应该用什么语句”的问题。nGQL是什么我们先强调一下概念：nGQL是NebulaGraphQueryLanguage的缩写...

01迁移背景我们之前图数据用的是单机版的AgensGraph,后面因为单机带来的性能限制问题，迁移到了分布式数据库JanusGraph，详细的迁移信息可以看我之前的一篇文章《百亿级图数据JanusGraph迁移之旅》。但是随着数据量和业务调用量的增加，新的问题又出现了——单次查询的耗时很高个别业务场景已经到了10s，数据量稍微多点，逻辑复杂点的查询耗时也在23s左右，这严重影响了整个业务流程的性能和相关业务的发展。JanusGraph的架构决...