鸿蒙开发者社区

本文作者系微信技术专家李本利图数据在社交推荐、多跳实时计算、风控和安全等领域有可期待的前景。如何用图数据库高效存储和查询大规模异构图数据，是一个重大挑战。本文描述了开源分布式图数据库NebulaGraph实践中遇到的问题，并通过深度定制，实现：大数据集存储、小时级全量导入、多版本控制、秒级回滚、毫秒级访问等特性。01背景为大众所熟知的图数据库大多在大数据集合上束手无策，如：Neo4j的社区版本，采用Cypher语言，...

本文主要讲述如何使用数据导入工具NebulaGraphExchange将数据从Neo4j导入到NebulaGraphDatabase。在讲述如何实操数据导入之前，我们先来了解下NebulaGraph内部是如何实现这个导入功能的。01Exchange数据处理原理我们这个导入工具名字是NebulaGraphExchange，采用Spark作为导入平台，来支持海量数据的导入和保障性能。Spark本身提供了不错的抽象——DataFrame，使得可以轻松支持多种数据源。在DataFrame的支持下，添加新的数据源...

API网关介绍什么是API网关API网关是位于客户端和服务器之间的“中间人”，用于管理、监控和保护API。它可以在API之前执行一些操作，例如：身份验证、授权、缓存、日志记录、审计、流量控制、安全、防火墙、压缩、解压缩、加密、解密等。API网关可以工作在TCPIP4层和OSI7层。跑在7层的API网关可以使用多种协议，例如：HTTP、HTTPS、WebSocket、gRPC、MQTT等。在这些应用层协议中做一些操作，比如，请求的重写、转发、合并、重试...

基本概念推荐系统诞生的初衷是解决互联网时代才面临的信息量过载问题，从最初的Amazon图书推荐、商品推荐，到电影、音乐、视频、新闻推荐，如今大多数网站、App中都有至少一个基于推荐系统生成的供用户选择的物品列表界面。而这些物品的推荐基本都是基于用户喜好、物品的特征、用户与物品交互历史和其他相关上下文去做的。一个推荐系统会包含以下几个部分：数据、特征的处理从特征出发，生成推荐列表过滤、排序推荐列表这其中，...

NebulaGraph的架构简介为了方便对NebulaGraph尚未了解的读者也能快速直接从贡献代码为起点了解它，我把开发、贡献内核代码入手所需要的基本架构知识在这里以最小信息量的形式总结一下。作为前导知识，请资深的NebulaGraph玩家直接跳过这一章节。服务、进程NebulaGraph的架构和GoogleSpanner、TiDB很相似，核心部分只有三种服务进程：Graph服务、Meta服务和Storage服务。它们之间彼此通过TCP之上的ThriftRPC协议进行通信。计算层...

各位朋友上午好，我是来自中国移动的算法工程师汪海涛。接下来我主要聊一聊图数据库在中国移动，特别是金融风控场景的落地应用。>>>>1.图平台建设概况1.1为什么选择NebulaGraph首先我们聊一聊中国移动是如何建设图平台。中国移动有非常多的数据，全国大概9亿的用户每天都会产生海量的数据。如何从这么大数据里面挖掘出有用的信息，然后用到金融风控场景？这就是我们需要做的事情。之前，我们往往是以手机号为维度去提取特征，然...

搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。元数据治理系统元数据治理系统是一个提供了所有数据在哪、格式化方式、生成、转换、依赖、呈现和所属的一站式视图。元数据治理系统是所有数据仓库、数据库、表、仪表板、ETL作业等的目录接口（catalog），有了它，我们就不用在群里喊“大...

什么是XA规范XA规范是XOpen组织定义的分布式事务处理（DTP，DistributedTransactionProcessing）标准。XA规范描述了全局的事务管理器与局部的资源管理器之间的接口。XA规范的目的是允许多个资源（如数据库，应用服务器，消息队列等）在同一事务中访问，这样可以使ACID属性跨越应用程序而保持有效。XA规范使用两阶段提交来保证所有资源同时提交或回滚任何特定的事务。关于两阶段提交事务模式不清楚的可以看之前的文章：​​七种...

Raft是一种广泛使用的分布式共识算法。NebulaGraph底层采用Raft算法实现metad和storaged的分布式功能。Raft算法使NebulaGraph中的metad和storaged能够集群化部署、实现了多副本和高可用，同时storaged通过multiraft模块实现了数据分片，分散了系统的负载，提升系统的吞吐。作为分布式系统的基石Raft有非常明显的优势，但这也伴随着不小的挑战——Raft算法的实现极其容易出错，同时算法的测试和调试也是一项巨大的挑战。NebulaGr...

据说，技术内容领域、传播领域的专家和决策者们会在中国技术传播大会「tcworldChina2022」大会上分享心得。作为一名技术文档工程师，本着了解相关行业的发展趋势和提升自我为NebulaGraph社区创造更大价值的心态，参加了此次大会。第一次参加tcworldChina技术传播大会，干货挺多，记录一下参会的收获和感受。tc，技术交流，全称technicalcommunication。技术交流会中技术内容是如何进行传播呢？初看，会觉得技术传播和作为内容生...

简介万物互联时代，产品性能至关重要，而系统启动时间是系统性能的重要组成部分，因为用户必须等待系统启动完成后才能使用设备。对于经常需要进行冷启动的汽车等设备而言，较短的启动时间至关重要（没有人喜欢在等待几十秒后才能输入导航目的地），在金融交易设备、电子商务服务器、实时通信设备同样也有较高的应用场景，那我们该如何在OpenAtomOpenHarmony（简称OpenHarmony）标准系统现有的能力下，完成秒级开机？本文由深圳...

河北稳控科技多通道振弦传感器无线采集仪如何外接数字传感器数字传感器的数据接入逻辑VS设备支持在RS485接口外接数字传感器，可进行单类型、多类型数字传感器接入。单类型数字传感器：使用寄存器DSSENSOR(282)来设置单类型数字传感器的类型和数量（见下表）。VS会自动轮巡发送传感器读取指令，当VS接收到传感器输出的数据后解析数据并将其更新到通道寄存器CHxx内，最终发送到远程服务器。多类型数字传感器：使用寄存器MDSEN(290...

今天这篇文章介绍一下数据库的版本管理、迁移工具Flyway什么是Flyway要解决什么问题？Flyway是一款数据库迁移（migration）工具。简单点说，就是在你部署应用的时候，帮你执行数据库脚本的工具。Flyway支持SQL和Java两种类型的脚本，你可以将脚本打包到应用程序中，在应用程序启动时，由Flyway来管理这些脚本的执行，这些脚本被Flyway称之为migration。“PS:本质上和liquibase机制一致。”按照verion的顺序（和数据库中的更新记...

上周知识星球中的球友问了一个关于websocket的问题，大致如下：简单的概括一下：如果我们的项目是分布式环境，登录的用户被Nginx的反向代理分配到多个不同服务器，那么在其中一个服务器建立了WebSocket连接的用户如何给在另外一个服务器上建立了WebSocket连接的用户发送消息呢？今天就来解答一下球友的问题：其实，要解决这个问题就需要实现分布式WebSocket，而分布式WebSocket一般可以通过以下两种方案来实现：将消息（<用户id...

SpringSecurityOAuth2的授权码模式一直是个难点，如果你对底层的原理不太理解的话很难去定位到其中的问题今天这篇文章就针对这位朋友提出的问题做个解答，分为如下三个部分：授权码模式的登录页面重定制授权码模式的授权页面重定制授权码模式的异常页面重定制关于OAuth2的授权码模式有不理解的可以看陈某之前文章：​​妹子始终没搞懂OAuth2.0，今天整合SpringCloudSecurity一次说明白！​​授权码模式的登录页面重定制下面就以...

前言微服务开发涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。学习了SpringCloudDataFlow等框架，感觉这个框架对于我们来说太重了，维护起来也比较麻烦，于是根据流编排的思想，基于我们目前的技术栈实现简单的流编排功能。简单的说，我们希望自己的流编排就是微服务可插拔，微服务数据入口及输出可不停机修改。准备工作Nacos安装及使用入门自己学习的话推荐使用docker安装，命令如...

ShardingJDBC目前还整合其他分布式事务模式来解决事务问题，今天就来介绍一下两阶段事务XA是如何解决分布式事务什么是XA规范XA规范是XOpen组织定义的分布式事务处理（DTP，DistributedTransactionProcessing）标准。XA规范描述了全局的事务管理器与局部的资源管理器之间的接口。XA规范的目的是允许多个资源（如数据库，应用服务器，消息队列等）在同一事务中访问，这样可以使ACID属性跨越应用程序而保持有效。XA规范使用两阶段...

今天这篇文章聊一聊接口安全问题，涉及到接口的加密、解密和产品、前端同学对外需求后，梳理了相关技术方案，主要的需求点如下：尽量少改动，不影响之前的业务逻辑；考虑到时间紧迫性，可采用对称性加密方式，服务需要对接安卓、IOS、H5三端，另外考虑到H5端存储密钥安全性相对来说会低一些，故分针对H5和安卓、IOS分配两套密钥；要兼容低版本的接口，后面新开发的接口可不用兼容；接口有GET和POST两种接口，需要都要进行加解密...

细心的朋友应该会发现，最近，继新浪微博之后，头条、腾讯、抖音、知乎、快手、小红书等各大平台陆陆续续都上线了“网络用户IP地址显示功能”，境外用户显示的是国家，国内的用户显示的省份，而且此项显示无法关闭，归属地强制显示。作为技术人，那！这个功能要怎么实现呢？HttpServletRequest获取IP下面，我就来讲讲，Java中是如何获取IP属地的，主要分为以下几步：通过HttpServletRequest对象，获取用户的「IP」地址通过IP地...

毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。从解决问题的角度出发，我们得先了解到问题的原因；其次我们得有一套思考、判断问题的流程方式，让我们合理的站在哪个层面选择方案；最后从众多的方案里面选择...