深入解读腾讯云数据库自研内核

发布于 2022-4-14 00:05
浏览
0收藏

 

TXSQL 是腾讯云数据库团队自研 MySQL 内核分支,100%兼容原生 MySQL 版本,针对企业级的重要场景自研众多核心特性,如企业级透明数据加密、审计、线程池、热点更新保护、SQL 限流、快速加列等功能,大幅提升了云数据库的性能和稳定性,保证线上稳定性的同时,满足业务对数据库的各种需求。

 

深入解读腾讯云数据库自研内核-开源基础软件社区

TXSQL 的服务对象是公司内部用户和腾讯云上小至数G大至数百T的外部客户,是支撑这些业务平稳运行的关键基石,在服务用户的同时,也打造了腾讯自己的MySQL分支。

 

另外,MySQL 作为最受欢迎的开源数据库,也是云上使用最多的数据库,不同的业务场景对数据库有不同的功能需求与性能需求,这样就决定了数据库本身的多样化需求,同时 MySQL 在不同使用场景下所衍生出来的各种问题,也影响着线上的稳定性。


TXSQL内核研发 主要包括以下工作:

  1. 数据库性能调优;
  2. 对内核进行深度改造,满足应用需要的性能要求,在活动促销时保证数据库的平稳运行;
  3. 满足业务需要的各种功能需求;
  4. 实现资源管理需要内核支持的功能;
  5. MySQL DBA 在运维过程中需要的诊断相关的功能;
  6. MySQL 在运行过程中存在的问题定位并修复影响系统运行的内核Bug;
  7. 保证数据库系统的安全,保证云上用户数据的安全;

作为云上客户的服务者,我们必须有及时响应用户并解决各种问题的能力,也应该满足用户的各种合理要求,对内支持业务的快速发展,满足业务要求;对外为腾讯云提供强有力的竞争力,这就是 TXSQL 内核存在与发展的目的。

 

TXSQL演进之路 
& 整体架构


TXSQL的演进之路

 

  • 最早的TXSQL是MySQL官方5.1版本,腾讯云数据库内核团队提供了简单的bugfix。
  • 5.5版本到5.6版本,团队不光是做了适配云平台的工作,还开发了许多支持DBA运维方面的工具,包括读写方面的优化。
  • TXSQL5.7版本目前是整个腾讯云数据库服务用量最大的一个版本,加入了许多企业级的特性,比如审计、压缩,还有线程池等。同时在5.7版本之后,我们做了云原生数据库TDSQL-C(原CynosDB)的内核。
  • 最新的TXSQL8.0版本,有了索引的列存引擎,还有AEP新硬件设备引擎优化以及更多的特性和优化。


深入解读腾讯云数据库自研内核-开源基础软件社区
TXSQL的整体架构


下图为TXSQL内核的整体架构。客户端进来之后通过线程池,Server层,然后会访问存储引擎层。

 

深入解读腾讯云数据库自研内核-开源基础软件社区

存储引擎层目前支持多种引擎,包括传统的InnoDB,自主研发的CStore列存引擎,还包括RocksDB,以及MySQL官方原来就内置的MyISAM之类的存储引擎,这是核心部分。


底下是独立的高性能SSD(本地存储磁盘)。审计系统,通过团队基于官方审计API 研发的审计插件提供审计服务;透明数据压缩插件,提供数据加密、解密的企业级特性;半同步复制插件,通过binlog把数据复制到从实例,然后会做一些备份或者是RO实例、只读实例。


TDSQL-C内核整体架构


云原生数据库 TDSQL-C(Cloud Native Database TDSQL-C,TDSQL-C)是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件技术的优势,100%兼容 MySQL ,实现超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障数据安全可靠。其内核的主要特点是存储和计算分离,快速的弹性扩展能力等。


 深入解读腾讯云数据库自研内核-开源基础软件社区

自研列存引擎

 

自研列存引擎,服务OLAP复杂场景


数据库中存在两种典型的业务访问场景,一种以在线事务处理为主,称为OLTP(On-Line Transaction Processing);另一种以在线分析处理为主,称为OLAP(On-Line Analytical Processing)。OLAP业务的主要特点是有较多的查询操作,写操作占比很低,并且大多数写操作是数据的批量导入和数据的批量删除或更新。并发的事务数相对OLTP要少很多,而且事务的响应时间要求相对比较低。


腾讯自研列式引擎主要是为OLAP场景(数据分析场景)提供服务。列存引擎有以下特点:

  • 列式存储:数据按列存储而不是按行存储;查询时无需访问无关列,减少大量 IO
  • 高压缩比:压缩比平均在10比1,可以大大减少存储空间
  • 快速加载:支持 MySQL 标准的 LOAD 语句;多核并行处理,加载速度可达 INNODB 的 10 倍
  • 执行引擎:支持查询任意多列的组合;单节点可支持百亿行记录的秒级查询;支持多种JOIN算法,包括HASH JOIN
  • 查询优化:查询时利用多种形式的稀疏索引过滤数据;维护数据的统计信息,聚合类查询预计算
  • MySQL兼容:SQL 语法全面兼容 MySQL 8.0;兼容 MySQL 工具和应用,例如phpMyADmin等;支持XtraBackup 物理备份和恢复。


深入解读腾讯云数据库自研内核-开源基础软件社区
业界首创秒改列


业界首创秒改列等更多企业级特性服务B端用户


大家都知道,Instant DDL这个patch也是由腾讯数据库团队进行研发并贡献给官方的,并且官方在8.0提供了这个特性。在腾讯云TXSQL内核里不仅支持了这个特性,而且在此基础上进行了进一步增强。


Instant DDL特性,可以快速增加字段。而修改列也是用户执行比较频繁的DDL之一,而且此操作会长时间阻塞用户的读写请求,对业务的影响非常大。TXSQL及TDSQL-C内核业界首创,支持了instant modify column功能,达到了秒级修改列的效果。


具体的实现方式是:

  • 元数据多版本化, 表元数据保存列的多个版本信息,用户只能看到的总是最新的表元数据。
  • 行记录增加版本信息对应到不同版本的表元数据上。
  • 修改列只修改元数据,修改列的过程中不修改实际的行记录。
  • 行记录读取时,老版本记录会自动转换为最新版本的记录。
  • 行记录更新时,老版本记录会自动更新为最新版本的记录。

    深入解读腾讯云数据库自研内核-开源基础软件社区
    更多企业级特性服务B端用户


高可用-物理复制(TDSQL-C内核):TDSQL-C内核实现了基于redo log的物理复制,同步主从的数据页面修改;复制速度快;主从数据保持物理一致。


 深入解读腾讯云数据库自研内核-开源基础软件社区
高可用-秒级RTO:Buffer pool秒级初始化,20倍提升;Crash recovery秒级构建表锁;并行初始化回滚段(已贡献官方MySQL),9倍提升;秒级Shutdown。
 

深入解读腾讯云数据库自研内核-开源基础软件社区
弹性扩展-Btree一致性读优化(TDSQL-C内核):InnoDB的数据以Btree方式来组织的,Btree在数据的更新过程中会发生SMO操作(即btree的分裂或合并),优化后备库读不会被主库更新产生的SMO操作所阻塞。
 

深入解读腾讯云数据库自研内核-开源基础软件社区
性能优化方面,面向非易失性存储进行写加速、线程绑核、兼容冷热日志分离管理。最终效果:单机场景,有redolog,性能提升15%;主备场景,有redolog&&binlog,性能提升50+%;同步场景,主机有redolog&&binlog,备机redolog&&relaylog,性能提升60+%近,在sync_relay_log为=1,强同步场景,性能提升2221%。这是基于新硬件的一种专门优化,极大提升整体数据库内核的性能。


 深入解读腾讯云数据库自研内核-开源基础软件社区

热点更新:内核级解决秒杀场景下的热点数据更新问题;一键开启,用户无需修改任何应用层SQL。


 深入解读腾讯云数据库自研内核-开源基础软件社区

功能发布层层把关,未来发展以稳定性为首


目前TXSQL系统内核的开发,已经逐步形成了一个比较完善的研发体系。体系里面包括需求评估、代码设计方案、设计方案的评审、代码开发、代码测试、上线之前的评审、灰度,还包括最终上线后的跟踪。在整体流程上做到了相对完善。


从需求来讲,目前大部分需求基本上是来自于用户在线上碰到的实际问题,腾讯云数据库内核团队进行有针对性的解决。需求到我们这边之后会进行评估,接着基于需求的优先级安排开发顺序以及设计方案的评审。设计方案的评审由资深的内核开发团队人员来进行。


开发完之后进行测试,测试是开发流程中非常重要的一环。目前一个需求的测试,会包括专有的、有针对性的专项功能测试;上线之前的通用测试;真实模拟云上环境的一些测试等等。


测试过后灰度上线,邀请客户来试用,验证功能的可用性是否符合需求,灰度完之后才会真正上线。上线之后会跟踪功能的实现情况,遇到bug及时响应解决。


这就是我们从需求到发布层层把关的整个过程。


 深入解读腾讯云数据库自研内核-开源基础软件社区

数据库内核以稳定性为主,因为TXSQL目前线上的实例有超过十万,庞大的实例规模以及海量用户,一旦出现问题,后果是不堪设想,所以首先是要做到稳定性。在保证稳定性的前提下,再去进行特性的研发和性能优化,这样未来我想应该还是以三大方向为主:
1. 保持稳定性,客户线上、线下碰到就是所有问题及时解决。
2. 企业级特性的研发,解决DBA运维当中碰到的比较棘手的问题。
3. 性能优化,数据库的内核性能做到更好更强。

 

来源: 腾讯云数据库公众号

收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光,你也可以直接关联已上传资源 去关联
    相关推荐