鸿蒙开发者社区

前言在每个公司的系统中，总有一些拥有复杂业务逻辑的系统，这些系统承载着核心业务逻辑，几乎每个需求都和这些核心业务有关，这些核心业务业务逻辑冗长，涉及内部逻辑运算，缓存操作，持久化操作，外部资源调取，内部其他系统RPC调用等等。时间一长，项目几经易手，维护的成本得就会越来越高。各种硬代码判断，分支条件越来越多。代码的抽象，复用率也越来越低，各个模块之间的耦合度很高。一小段逻辑的变动，会影响到其他模块...

前言做java的人，一般IDE工具用的不是eclipse就是IntelliJIDEA了吧，eclipse因为是开源软件，而且起步比较早，功能也比较完善。早期基本上做java的使用eclipse都是必备技能。我工作十年多，直到2年前还在用eclipse，随着IntelliJIDEA的市场份额原来越大，很多人都转投这个更现代化，更懂开发者的IDE工具中。我也在两年前从eclipse阵营转投IntelliJIDEA的阵营了，同时把windows电脑也换成了mac。本身IntelliJ看起来就更现代化，...

前言最近在做TLog1.2.5版本的迭代，许多小伙伴之前也表示说很想参与开源项目的贡献。为了让项目更好更快速的迭代新特性以及本着发扬开源精神互相学习交流，很有幸招募到了很多小伙伴与我一起前行。为了方便大家理解TLog项目的核心原理和架构，便有了此篇内容。此篇内容偏向TLog技术设计和核心原理，同时也涵盖着做一个开源框架所需要考虑的问题和技术要点。我一直相信，好的技术内容应提领关键点，引导大家该去如何读懂源码。而...

前言不知道大家在工作中有没有碰到过在代码级别中进行上传和下载呢，一般的场景为调用第三方的接口进行上传大文件和下载大文件。我一个小伙伴最近在工作中就碰到了，他需要在代码中调用第三方http接口进行原始文件的上传，然后需要调用第三方接口把第三方服务处理好的数据文件下载到本地。他说其实没什么技术难度，百度了下，代码示例也很多，httpclient就支持上传文件和下载，就是代码写的太多了，不怎么优雅。他给我看了httpc...

背景前不久，因为公司业务需要，需要解决在大促场景下后端业务的热点缓存问题，所以研究了下缓存热点解决方案。很多公司的缓存都是基于redis来做的，redis的性能其实已经足以能应付大部分的场景，但是对于大促期间或者活动抢购期间的某个爆品，可能会出现在几秒时间内流入大量的流量，由于某个爆品的数据在rediscluster场景下会按照hash规则被存放在某个redis分片上，那么这几秒的流量都会压到这个redis分片，从而在瞬间会导致...

前言最近一个朋友老是和我抱怨：公司系统日志打的实在是太烂了，有用的信息很少，没用的一大堆。就连那有用的信息，在那么多节点日志之间进行追查，也是痛苦的一笔。我问他，公司没有日志收集吗，日志收集起来看总好过一个节点一个节点日志查看。他表示，公司有接入一个收费第三方的日志产品，做了收集。但是仅仅是方便了统一化查看搜索，但是系统本身的日志缺少一些关键性的要素。比较乱，在很多微服务之间查看调用日志时定位...

摘要如果2019年技术圈有十大流行词，容器化肯定占有一席之地，随着Docker的风靡，前端领域应用到Docker的场景也越来越多，本文主要来讲述下开源的分布式图数据库NebulaGraph是如何将Docker应用到可视化界面中。为什么要用Docker​对于前端日常开发而言，有时也会用到Docker，结合到NebulaGraphStudio（分布式图数据库NebulaGraph的图形界面工具）使用Docker主要基于以下考虑:统一运行环境：我们的工具背后有好几个服务组合在一...

本文主要讲述如何利用SparkConnector进行NebulaGraph数据的读取。01SparkConnector简介SparkConnector是一个Spark的数据连接器，可以通过该连接器进行外部数据系统的读写操作，SparkConnector包含两部分，分别是Reader和Writer，而本文侧重介绍SparkConnectorReader，Writer部分将在下篇和大家详聊。02SparkConnectorReader原理SparkConnectorReader是将NebulaGraph作为Spark的扩展数据源，从NebulaGraph中将数据读成DataFrame...

本文由社区用户xrfinbj贡献，主要介绍Exchange工具从Hive数仓导入数据到NebulaGraph的流程及相关的注意事项。​01背景公司（望石智慧）内部有使用图数据库的场景，内部通过技术选型确定了NebulaGraph图数据库，还需要验证NebulaGraph数据库在实际业务场景下的查询性能。所以，我们急迫地需要导入数据到NebulaGraph并验证。在这个过程中发现通过Exchange工具从Hive数仓导入数据到NebulaGraph文档不是很全，所以把这个流程中踩到...

本文系BOSS直聘｜安全技术中心：文洲撰写​01业务背景在BOSS直聘的安全风控技术中，需要用到大规模图存储和挖掘计算，之前主要基于自建的高可用Neo4j集群来保障相关应用，而在实时行为分析方面，需要一个支持日增10亿关系的图数据库，Neo4j无法满足应用需求。针对这个场景，前期我们主要使用Dgraph，踩过很多坑并和Dgraph团队连线会议，在使用Dgraph半年后最终还是选择了更贴合我们需求的NebulaGraph。具体的对比Benchmark已经...

2010年前后，对于社交媒体网络研究的兴起带动了图计算的大规模应用。2000年前后热门的是信息检索和分析，主要是Google的带动，以及Amazon的ecommerce所用的协同过滤推荐，当时collaborativefiltering也被认为是informationretrieval的一个细分领域，包括Google的PageRank也是在信息检索领域研究较多。后来才是Twitter，Facebook的崛起带动了网络科学networkscience的研究。图理论和图算法不是新科学，很早就有，只是最近20年大...

在本篇文章中主要介绍图数据库NebulaGraph在Jepsen这块的实践。Jepsen简介Jepsen是一款用于系统测试的开源软件库，致力于提高分布式数据库、队列、共识系统等的安全性。作者KyleKingsbury使用函数式编程语言Clojure编写了这款测试框架，并对多个著名的分布式系统和数据库进行了一致性测试。目前Jepsen仍在GitHub保持活跃，能否通过Jepsen的测试已经成为各个分布式数据库对自身检验的一个标杆。Jepsen的测试流程Jepsen测试推荐使...

大家好，我是来自美团的赵登昌，今天我给大家分享下美团图数据库平台的建设以及业务实践。这是本次报告的提纲，主要包括以下六方面内容。01背景介绍首先介绍下美团在图数据方面的业务需求。美团内部有比较多的图数据存储以及多跳查询需求，总体来说有以下4个方面：第一个方面是知识图谱方向，美团内部有美食图谱、商品图谱、旅游图谱在内的近10个领域知识图谱，数据量级大概在千亿级别。在迭代、挖掘数据的过程中，需要一种组件...

大家好，我是吴敏。今天分享一个叫图数据库的技术产品。什么是图和图数据库先来介绍一下什么是图和图数据库，所谓的图和平常认知的图片其实不是同一个概念，图（Graph）在计算机科学里面是一种数据结构，这种数据结构有三个比较主要的概念：点、边和属性。通俗的说，图结构还有其他的叫法，比如：网络结构、拓扑结构，大致上都是描述的同一种数据结构。举个例子，上面这个图是典型的图结构（网络结构），人和公司，公司与公司都...

本文由社区用户fengsenneu贡献，主要介绍如何通过官方ETL工具Exchange将业务线上数据从Neo4j直接导入到NebulaGraph以及在导入过程中遇到的问题和优化方法。​01背景随着业务数据量不断增长，业务对图数据库在线数据实时更新写入和查询的效率要求也不断增加。Neo4j存在明显性能不足，Neo4j社区开源版本只支持单机部署，扩展能力存在比较大的问题，无法满足读写性能的线性扩展以及读写分离的业务需求，并且开源版本Neo4j对点和边...

本文主要讲述NebulaGraph中的K8s实践以及如何使用K8s部署NebulaGraph。01Kubernetes是什么Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署、规划、更新、维护的一套机制。Kubernetes在设计结构上定义了一系列的构建模块，其目的是为了提供一个可以部署、维护和扩展应用程序的机制，组成Kubernetes的组件设计理念为松耦合和可...

将数据资产视为公司重要资产是企业的共识，数据的产生、存储、消费…每个数据流动环节都不可忽视。伴随着企业业务的多元化，一方面业务数据量激增，另一方面，数据不统一、数据孤岛、数据价值被低估等问题也浮出水面，其根本原因在于忽视了数据之间的关联性。图数据库技术的出现，为企业赋予了挖掘数据关联价值的能力。而大数据时代的图数据库，除了具备优秀的关联价值挖掘能力，还要应对海量数据的存储计算挑战。图数据库Nebul...

在用户使用NebulaGraph的过程中，经常会遇到各种问题，通常我们都会建议先通过showhosts查看集群状态。可以说，整个NebulaGraph的集群状态都是靠心跳机制来构建的。本文将从心跳说起，帮助你了解NebulaGraph集群各个节点之间通信的机制。什么是心跳？有什么作用？NebulaGraph集群一般包含三种节点，graphd作为查询节点，storaged作为存储节点，metad作为元信息节点。本文说的心跳，主要是指graphd和storaged定期向metad上报信息...

最近在对图查询语言GQL和国际标准草案做个梳理，调研过程中找到下面这篇mark了没细看的旧文（毕竟收藏就是看过）。做个简单的记录。本短文会涉及到的图查询语言有Cypher、Gremlin、PGQL和GCORE。背景本文主要摘录翻译自[Tobias2018]（见参考文献），并未涉及到SPARQL和RDF，只讨论了属性图。文章撰写的时间是2018年，可以看做GQL（GraphQueryLanguage）的一些前期准备。GQL有多个相关的起源，参见下面这张图。因为Cypher的历史...

>>>>前言Nebula目前作为较为成熟的产品，已经有着很丰富的生态。数据导入的维度而言就已经提供了多种选择。有大而全的NebulaExchange,小而精简的NebulaImporter,还有为SparkFlink引擎提供的NebulaSparkConnector和NebulaFlinkConnector。在众多的导入方式中，究竟哪种较为方便呢？使用场景介绍:NebulaExchange需要将来自Kafka、Pulsar平台的流式数据,导入NebulaGraph数据库需要从关系型数据库（如MySQL）或者分布式文件系统（如...