51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
2024年软考
PMP项目管理
软考资讯
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
鸿蒙开发者社区
首页
帖子
问答
资源
课堂
直播
发现
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
活动
短视频
专栏
极客Show
鸿蒙技术特刊
我的关注
全部帖子
操作系统
OpenHarmony
HarmonyOS
其他
应用开发
卡片开发
三方件
IDE
其他
设备开发
海思开发板
树莓派
其他
框架语言
C/C++
Java
JavaScript
ArkUI / eTS
其他
其他
物联网
云原生
数据库
操作系统
大数据
人工智能
开发语言
其他
社区版务
社区公告
社区生活
意见反馈
社区规则
社区活动
默认
发布时间
热度
原创
精华
热门标签
认证
技术团队
企业
基于 Kubesphere 的 Nebula Graph 多云架构管理实践
图数据库是一种使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据。图数据库的应用领域非常广泛,在反应事物之间联系的计算都可以使用图数据库来解决,常用的领域如社交领域里的好友推荐、金融领域里的风控管理、零售领域里的商品实时推荐等等。NebulaGraph简介与架构NebulaGraph是一个高性能、可线性扩展、开源的分布式图数据库,它采用存储、计算分离的架构,计算层和存储层可以根据各自的情况弹性扩容...
ywz888
0回复
2049浏览
Nebula
可视化技术在 Nebula Graph 中的应用
本文整理自可视化onLive🔗主题直播,在本期直播中3位可视化嘉宾讲述了他们眼中的可视化,以及他们在可视化项目实践中踩过的那些“坑”。卢晓龙:可视化图探索工具NebulaExplorer产品负责人,可视化技术专家;苗壮:可视化图探索工具NebulaExplorer核心开发,可视化技术专家;汪洋:可视化监控运维工具NebulaDashboard产品负责人,可视化技术专家;>>>>可视化是什么?从个人理解来说的话,可视化便是将我们平时看到的...
ywz888
0回复
2401浏览
Nebula
GraphX 图计算实践之模式匹配抽取特定子图
>>>>前言NebulaGraph本身提供了高性能的OLTP查询,可以较好地实现各种实时的查询场景,同时它也提供了基于SparkGraphX的nebulaalgorithm库以便支持实时的图算法,这里给Nebula点个赞👍,很不错!但实践过程中,我发现部分OLAP场景中,想实现模式匹配分析,Nebula的支撑就显得不那么完善了。这里我对模式匹配的解释是:在一张大图中,根据特定的规则抽取出对应的子图。举一个简单的例子,比如想要对每个点都进行二度扩散,并按照...
ywz888
0回复
2427浏览
Nebula
Nebula & 数仓血缘关系数据的存储与读写
我是数据开发的实习生,在这个岗位上工作四个月左右的时间了,期间负责开发数据平台的功能我是数据开发的实习生,在这个岗位上工作四个月左右的时间了,期间负责开发数据平台的功能。因为工作中涉及的一些数据的读写性能较低,所以在调研后,选择部署一个Nebula集群。之所以选择Nebula,是因为它的技术体系比较成熟,社区也比较完善,对刚刚接触的它的人非常友好,所以很快就开始投入使用了。在使用过程中,有一些自己的见解,和...
ywz888
0回复
2970浏览
Nebula
批量插入性能优化
引言数据库插入操作的语句为insertintotablevalues(a1,b1),涉及到SQL层和存储层,其中SQL层需要解析SQL语句,生成抽象语法树(AST),计算表达式等,存储层需要判断主键冲突,包括增量数据和基线数据上的主键冲突,如果是非重复主键,则将数据插入到增量数据中。上条插入语句只插入一行数据,称之为单条插入,相应地,还可以在一条语句中插入多行数据,insertintotablevalues(a1,b1),(a2,b2),(a3,b3),称之为批量插入。批量插入...
ywz888
0回复
4623浏览
OceanBase
干净实用的同义词
同义词(Synonym)是数据库内对象的别名。数据库中的大部分数据库对象,如表、视图、物化视图、序列、函数、存储过程、包、dblink、同义词等等,均可以根据实际情况为他们定义同义词。使用同义词可以在一定层度上降低应用开发者编写SQL的复杂度,用户可以不用关心一个Object的所属关系(例如table在哪个database下、是dblink其他数据库的对象还是本地对象),直接使用同义词即可。同义词带来的好处并不仅仅是别名这么简单,例如...
ywz888
0回复
1885浏览
OceanBase
基于Raft分布式一致性协议实现的局限及其对数据库的风险
普通服务器具有良好的性价比,因此在互联网等行业得到了广泛的应用。但普通服务器也不得不面对2%4%的年故障率([1]),于是必须高可用的传统数据库只得很悲催地使用性价比低得可怜的高可靠服务器。分布式一致性协议(distributedconsensusprotocol)是迄今为止最有效的解决服务器不可靠问题的途径,因为它使得一组服务器形成一个相互协同的系统,从而当其中部分服务器故障后,整个系统也能够继续工作。而Paxos协议([2])则几乎成了...
ywz888
0回复
3449浏览
OceanBase
一个导致查询结果错的MySQL bug
现象有业务系统反应,通过主键条件查询用户表,得到的一行结果与条件中的主键值不一致,这是什么鬼啊?结论设置JDBC参数不合理(queryTimeout10s,socketTimeout10s),导致在异常情况下,第二条get获得了第一条get的结果,得到错误的数据,数据库表现正常;详细的出错流程(1)应用设置queryTimeout10s,socketTimeout10s;(2)在JDBC代码中,socketTimeout是利用fd超时实现的,而queryTimeout是另外起一个任务(cancel线程),监听...
ywz888
0回复
2868浏览
OceanBase
分区内并行创建索引
介绍OceanBase分区能按照某种规则自动地对数据表进行划分,每个分区存储表格的一部分数据。相对于分库分表方案,分区功能既能对用户比较透明,又具有良好的可扩展性。在OceanBase中,针对分区表构建索引时,会对该表格的每个分区进行外部排序,构建相应的索引表,由于分区的数据量通常是GB,甚至是TB级别的,采用串行的外部排序构建索引容易达到瓶颈,因此,需要分区内并行构建索引的功能。本文主要描述了OceanBase分区内并行构...
ywz888
0回复
2317浏览
OceanBase
BIGO 的数据管理与应用实践
本文整理自BIGO在nMeetp上的主题分享,主要介绍BIGO过去一年在数据管理建设方面的理解和探索。而BIGO数据管理的核心重点在于元数据平台的建设,用以支撑上层数据管理和建设应用,包括数据地图、数据建模、数据治理和权限管理等等。本文主要围绕以下五个方向展开:OneMeta基础建设;图引擎:Nebula替换JanusGraph数据资产平台应用;Adhoc即席查询;未来规划BIGO是欢聚时代(YY直播母公司)原移动新产品部基础上成立的独立公司,...
ywz888
0回复
2425浏览
Nebula
实现层次查询,你们猜用了多久
介绍层次查询(HierarchicalQuery)是一种具有特殊功能的查询语句,通过它能够将HierarchicalData按照层次关系展示出来。HierarchicalData是指Relation中的数据之间具有层次关系。这种关系在现实生活中十分常见,例如:组织架构中leader和member之间的关系企业中上下级部门之间的关系Web网页中,页面跳转的关系HierarchicalData实际上较适合存储在HierarchicalDataMode数据库中,在这类数据库中数据就是按照其层次关系(树形结...
ywz888
0回复
1740浏览
OceanBase
OceanBase的表达式编译执行
1背景 马老师曾说过:“人类正从IT时代走向DT时代”,而在DT时代,数据量的爆增,对现有系统数据处理效率提出了更高的要求,近几年,为了提升计算效率,JIT(JustInTimeCompiler)技术得到了广泛的应用,LLVM对这些技术提供了很好的支持,并且能够很方便的供开发者使用。 为了既能很好的支持OLTP场景,同时也能对OLAP的场景(大部分执行时间是在进行表达式计算)快速响应。我们使用LLVM提供的相关技术,实现了表达式编译执...
ywz888
0回复
2666浏览
OceanBase
macOS 安装 Nebula Graph 看这篇就够了
>>>>背景刚学习图数据的内容,当前网上充斥大量的安装文档,参差不齐,部署起来令人十分头疼。现整理一份比较完整的安装文档,供大家学习参考。>>>>版本macOS12.0.1(Intel)Docker20.10.14NebulaGraphv3.x(20220415master分支)NebulaStudiov3.2.2NebulaConsolev3.0.0(20220415master分支)注:以上软件版本为20220415最新版本>>>>安装教程以下内容亲测可用。Docker安装下载网站相关地址:InstallDockerDesktoponMacDockerDocume...
ywz888
0回复
4441浏览
Nebula
系统设计的11个考虑
有了《系统架构的11条原则》,真正到设计阶段还有另外11个考虑。系统正确性考虑一:负负得正假如我们看到某个代码,明显有逻辑错误,想随手改改。你就要考虑一件事情:这段明显有问题的代码为什么在线上运行着没有人来报bug?有一种正常运行叫做【负负得正】。如果把错误的逻辑改对了反而可能引起问题。这种问题要避免最好的时机是初版设计和开发阶段就避免。除了设计阶段逻辑要清晰,代码要做好审查、加上单体测试等测试手段外...
ywz888
0回复
2231浏览
编程一生
排查线上问题的9种方式
德国科技管理专家斯坦门茨早年移居美国,他以非凡的才能成为美国企业界的佼佼者。一次,美国著名的福特公司的一组电机发生故障,在束手无策之时,公司请斯坦门茨出马解决问题。斯坦门茨在电机旁仔细观察,经过计算,用粉笔在电机外壳划了一条线,说:“从这里打开,把里面的线圈减少16圈。”工人们照他说的一试,电机果然运转如初,福特公司给他酬金时,他索价一万美元。公司老板觉得一条线要一万美元未免漫天要价。斯坦门茨回...
ywz888
0回复
4170浏览
编程一生
开发者必装的软件工具总结
在一家公司工作很多年了,办公电脑很陈旧,想申请一台新的。但是总会一拖再拖。想到要重装软件,很多数据有可能丢就很头疼。如果咱们平时对数据养成及时备份的好习惯,换新电脑的成本可能并没有想象中的那么高。咱们今天从软件开发生命周期的角度进行一次梳理。立项阶段一个软件最初先要进行充分沟通,才能立项。沟通至少需要foxmail等邮件工具和微信或者是内部的企业微信或者钉钉等IM工具。当然,自从疫情,线上沟通多了起来,...
ywz888
0回复
2064浏览
编程一生
什么是“根创新”?从公交支付用上国产数据库说起
10多年前我毕业到广州工作,出火车站第一件事就是去路边报刊亭办一张“羊城通”卡用来乘坐公交地铁。今天路边的报刊亭已十分稀少,“羊城通”也逐渐被扫码、NFC、数字货币等移动支付替换。公交支付的升级只是出行智能化的冰山一角。公交出行开始跑在数据上艾媒咨询数据显示,中国智慧交通技术支出规模不断增长,2020年中国智慧交通技术支出规模达502.7亿元,同比增长16.26%,预计2021年中国智慧交通技术支出规模将达580亿元,轨...
ywz888
0回复
1159浏览
OceanBase
为什么资源隔离对HTAP至关重要?
此前,通过《向量化引擎对HTAP的价值与技术思考》一文,我们分享了OceanBase怎样看待向量化引擎技术,并介绍了用它解决复杂查询场景的技术思路。HTAP的本意是把OLTP(事务处理)和OLAP(分析处理)放在一个系统上更好地运行,帮助客户开展实时业务决策,降低运营成本并提升创新效率。因为OLTP、OLAP使用资源(CPU、内存、IO等)的方式不同,同时运行时容易产生资源干扰。如何将二者的相互影响降到最小,成为实现HTAP的关键,也...
ywz888
0回复
2278浏览
OceanBase
向量化引擎对HTAP的价值与技术思考
近日,OceanBaseCTO杨传辉解读HTAP的文章《真正的HTAP对用户和开发者意味着什么?》介绍了OceanBase对HTAP的理解和技术思路,在读者中引发了广泛讨论。OceanBase认为,真正的HTAP要求先有高性能的OLTP,然后在OLTP的基础上支持实时分析。OceanBase通过原生分布式技术提供高性能的OLTP能力,真正通过“一个系统”同时提供事务处理和数据实时分析能力,“一份数据”用于不同的工作负载,从根本上保持数据的一致性并最大程度降低数...
ywz888
0回复
2650浏览
OceanBase
学术加油站|面向HTAP数据库的基准评测工具研究进展
编者按本文系华东师范大学俞融&王清帅两位同学所著,本篇也是OceanBase学术系列稿件第六篇。「俞融,华东师范大学数据科学与工程学院在读硕士生。研究生期间在数据学院DBHammer组从事面向HTAP数据库系统的评测相关技术研究,致力于定义新型benchmark并开发开源工具服务于HTAP数据库公平、公正、高效评测工作。」「王清帅,华东师范大学数据科学与工程学院在读博士生。博士生期间在华东师范大学数据学院DBHammer组致力数据库系统...
ywz888
0回复
2432浏览
OceanBase
暂无内容
1
7
8
9
10
11
12
13
14
15
98
精选
客服
订阅鸿蒙技术特刊,精选内容抢先看
微信扫码关注,即刻订阅