李东博厚泽贷系统架构师二次元资深宅原本是做.net的,跟着公司转型误打误撞开始做互联网,做着JAVA架构的工作,干着运维的活。对逻辑和技术感兴趣,希望能在这条路上越走越远。对未知的技术方向有很强的好奇心,包括开源框架的实现,以公司架构选型为契机接触了shardingsphere社区,如果能在对社区参与中不断提升自己也是很好的。最近的业余时间多用于做这件事:https:github.comshardingsphereshardingsphereissues717...
2022-11-08 15:20:53 5084浏览 0点赞 0回复 0收藏
讲师简介赵俊京东金融高级Java开发工程师☑多年互联网开发经验,热爱开源技术,对分布式存储有浓厚的兴趣。熟悉ElasticSearch、HBase、Presto、Storm等离线和实时数据处理☑目前主要在ShardingSphere团队负责分布式事务的开发分享大纲:✔分布式事务的使用场景✔业界方法✔ShardingSphere对分布式事务的支持✔未来开发计划分布式事务的使用场景01ACID一切从ACID开始说起。ACID是本地事务所具有的四大特征:Atomicity:原子性事...
2022-11-08 15:19:02 5372浏览 0点赞 0回复 0收藏
今天拓海与大家分享其中一个:MySQL协议相关的一个bug。在bug的定位过程中,小伙伴们会了解到一些MySQL协议的基本知识和调试方法。Bug描述关于bug的描述,这里使用了项目的issue模板,大家在提bug的时候也请一定遵循这个模板。在本文中使用中文描述,但大家提issue的时候记得用英文,毕竟老外也会来看的。WhichversionofShardingSpheredoyouusing3.0.0.M2SNAPSHOTWhichprojectdoyouusingShardingJDBCorShardingProxyShardingPro...
2022-11-02 10:45:52 4713浏览 0点赞 0回复 0收藏
作者介绍杜红军,京东数科软件工程师,多年中间件开发及系统设计经验,对Spring、MyBatis等相关开源技术有深入了解。目前在ShardingSphere团队负责SQL解析开发工作。相对于其他编程语言来说,SQL是比较简单的。不过,它依然是一门完善的编程语言,因此对SQL的语法进行解析,与解析其他编程语言(如:Java语言、C语言、Go语言等)并无本质区别。一、概念谈到SQL解析,就不得不谈一下文本识别。文本识别是根据给定的规则把输入文...
2022-11-02 10:44:10 7694浏览 0点赞 0回复 0收藏
作者介绍张亮,京东数科数据研发负责人。热爱开源,目前主导两个开源项目ElasticJob和ShardingSphere(ShardingJDBC)。擅长以Java为主分布式架构以及以Kubernetes和Mesos为主的云平台方向,推崇优雅代码,对如何写出具有展现力的代码有较多研究。2018年初加入京东数科,现担任数据研发负责人。目前主要精力投入在将ShardingSphere打造为业界一流的金融级数据解决方案之上。数据的积累是当今各行各业巨头的企业财富,数据库则是数...
2022-11-02 10:43:29 4792浏览 0点赞 0回复 0收藏
作者介绍张亮,京东数科数据研发负责人。热爱开源,目前主导两个开源项目ElasticJob和ShardingSphere(ShardingJDBC)。擅长以Java为主分布式架构以及以Kubernetes和Mesos为主的云平台方向,推崇优雅代码,对如何写出具有展现力的代码有较多研究。2018年初加入京东数科,现担任数据研发负责人。目前主要精力投入在将ShardingSphere打造为业界一流的金融级数据解决方案之上。数据库技术的发展与变革方兴未艾,NewSQL的出现,只是将...
2022-11-02 10:43:04 4719浏览 0点赞 0回复 0收藏
★作者★张亮,京东数科数据研发负责人,ApacheShardingSphere发起人&PPMC热爱开源,目前主导开源项目ShardingSphere(原名ShardingJDBC)和ElasticJob。擅长以java为主分布式架构以及以Kubernetes和Mesos为主的云平台方向,推崇优雅代码,对如何写出具有展现力的代码有较多研究。目前主要精力投入在将ShardingSphere打造为业界一流的金融级数据解决方案之上。ShardingSphere已经进入Apache孵化器,是京东集团首个进入Apache基金...
2022-11-02 10:41:57 4209浏览 0点赞 0回复 0收藏
作者张永伦,京东数科高级软件工程师,ApacheShardingSphere(Incubating)PPMC。长期从事分布式系统的高可用、高并发相关工作。热衷于网络IO、性能优化方面的技术挑战。目前专注于ShardingProxy的持续优化和APM的开发工作。看过《ApacheShardingSphere(Incubating)对接京东白条实战》的同学应该都了解,对接白条过程中遇到的问题几乎全部是借助于SGM来定位并解决的,可见性能监控的重要性。相对于商业化的SGM产品,ShardingSpher...
2022-11-02 10:41:24 5094浏览 0点赞 0回复 0收藏
ApacheShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。ShardingSphere已于2020年4月16日成为Apache软件基金会的顶级项目。分布式系统CAP理论一致性(Consistency)一致性指allnodessee...
2022-11-02 10:40:05 4278浏览 0点赞 0回复 0收藏
ApacheShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。ShardingSphere已于2020年4月16日成为Apache软件基金会的顶级项目。咱们话不多,接上篇,我们直接进入正题。Atomikos简单介绍Atomiko...
2022-11-02 10:37:01 5858浏览 0点赞 0回复 0收藏
ApacheShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。ShardingSphere已于2020年4月16日成为Apache软件基金会的顶级项目。AtomikosXA事务恢复说事务恢复流程之前,我们来讨论下,会啥会出...
2022-11-01 15:31:38 5371浏览 0点赞 0回复 0收藏
ApacheShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。ShardingSphere已于2020年4月16日成为Apache软件基金会的顶级项目。Narayana简单介绍Narayana(https:narayana.io),是由Jboss团队...
2022-10-24 17:11:28 5059浏览 0点赞 0回复 0收藏
说事务恢复流程之前,我们来讨论下,会啥会出现事务恢复?XA二阶段提交协议不是强一致性的吗?要解答这个问题,我们就要来看看XA二阶段协议有什么问题?问题一:单点故障由于协调者的重要性,一旦协调者TM发生故障。参与者RM会一直阻塞下去。尤其在第二阶段,协调者发生故障,那么所有的参与者还都处于锁定事务资源的状态中,而无法继续完成事务操作。(如果是协调者挂掉,可以重新选举一个协调者,但是无法解决因为协调者宕机...
2022-10-24 17:08:57 4325浏览 0点赞 0回复 0收藏
在去年10月5.0.0alpha版本发布之后,ApacheShardingSphere经历了长达8个多月的持续开发与优化,终于在6月25日正式迎来了5.0.0beta版本的发布。本次5.0.0beta版除了提供DistSQL(后续将针对DistSQL进行深度解读)这样的新特性外,对ShardingSphere内核也进行了增强,主要体现在SQL基础解析能力增强、SQL标准路由能力提升和SQL分布式查询能力增强这三方面。通过这三方面优化,不仅进一步提高了对MySQL,PostgreSQL,SQLSe...
2022-10-24 17:07:19 5593浏览 0点赞 0回复 0收藏
ApacheShardingSphere5.0.0beta深度解析的第一篇文章和大家一起重温了ShardingSphere的内核原理,并详细阐述了此版本在内核层面,特别是SQL能力方面的优化和提升。强大稳定的内核是ShardingSphere持续发展的基础,与此同时,ShardingSphere在研发分布式数据库生态特性上也在努力摸索。本次5.0.0beta版本发布的DistSQL,用于搭配整个ShardingSphere分布式数据库体系,在提供更标准化的分布式数据库管理方式的同时,兼具...
2022-10-24 17:06:47 4874浏览 0点赞 0回复 0收藏
小米软件工程师,主要负责MIUI浏览器服务端研发工作。热爱开源,热爱技术,喜欢探索,热衷于研究学习各种开源中间件,很高兴能参与到ShardingSphere社区建设中,希望在社区中努力提高自己,为ShardingSphere社区的发展做更多的工作。元数据在ShardingSphere中加载的过程一、概述元数据是表示数据的数据。从数据库角度而言,则概括为数据库的任何数据都是元数据,因此如列名、数据库名、用户名、表名等以及数据自定义库表存储的...
2022-10-21 15:32:34 5193浏览 0点赞 0回复 0收藏
ElasticJob于2020年5月28日重启并成为ApacheShardingSphere子项目。新版本借鉴了ShardingSphere可拔插架构的设计理念,对内核进行了大量解耦和重构,打造了全新的作业API,提升项目的易用性。自重启以来,社区活跃度大幅增加,目前项目累计收获超过7,000Star,贡献了超过2,000次commits,面向互联网生态和海量数据的分布式调度平台将进一步被大规模使用,解决用户的作业调度难以水平扩展、可用性有限的问题。本文将给各位介绍El...
2022-10-21 15:31:40 6206浏览 0点赞 0回复 0收藏
ApacheShardingSphere作为Apache顶级项目,是数据库领域最受欢迎的开源项目之一。经过5年多的发展,ShardingSphere已获得超14KStars的关注,270+贡献者,建立起了活跃的社区生态。随着项目的蓬勃发展,版本的不断更迭,ApacheShardingSphere支持的特性逐渐增多,功能日益强大,配置规则也在不断优化。为了帮助用户更好地理解各项特性和配置规则,方便用户快速测试并运行相关功能组件,找到最佳实现,shardingsphereexample项目...
2022-10-21 15:30:33 4314浏览 0点赞 0回复 0收藏
作者简介瑞华,携程高级后端开发工程师,关注系统架构、分库分表、微服务、高可用等。一、前言随着国际火车票业务的高速发展,订单量快速增长,单数据库瓶颈层面的问题逐渐显露,常规的数据库优化已无法达到期望的效果。同时,原先的底层数据库设计,也存在一些历史遗留问题,比如存在部分无用字段、表通过自增主键关联和各个应用直连数据库等问题。为此,经过讨论后,我们决定对订单库进行分库分表,同时对订单表进行重构,进...
2022-10-21 15:29:48 4202浏览 0点赞 0回复 0收藏
在《DistSQL:像数据库一样使用ApacheShardingSphere》一文中,PMC孟浩然为大家介绍了DistSQL的设计初衷和语法体系,并通过实战操作展示了一条SQL创建分布式数据库表的强大能力,展现了ApacheShardingSphere在新形态下的交互体验。近期,ShardingSphere社区对SCTL语法和执行引擎进行了重构,使SCTL完全投入DistSQL语法体系的怀抱,将原SCTL功能融入到RAL语法中,使ShardingSphere管理语言更加统一。本文将带领读者深入...
2022-10-21 15:29:24 3925浏览 0点赞 0回复 0收藏