鸿蒙开发者社区

前2言在国家层面提出加快建设科技强国，实现高水平科技自立自强的大背景之下，某超大型保险（集团）公司深入推进数字化转型，紧随先锋技术发展趋势，前瞻性布局启动IT架构分布式改造转型，并于21年9月圆满实现了最后一个规模高达20TB+核心数据库的全面迁移改造工作，也为后续向云原生多活架构演进打下了坚实的基础。该数据库国产迁移项目成功上线，树立了金融行业践行科技强国的标杆实践，也是对国家科技自立自强战略以及国产技...

一、BinlogParallelflush优化优化背景BinlogCommit瓶颈分析当我们在MySQL官方代码上做sysbench时，可以看到如上图的耗时占比。在低并发下，redolog和binlog的IO操作耗时占大头，然而在高并发下，耗时占比的大头是flushbinlog操作，IO操作只占到35%左右。这是因为MySQL的binloggroupcommit机制合并的是事务间的IO，在并发数很少的时候，只能合并几个事务的IO操作，在并发数很多的时候，可以合并几百个事务的IO操作，差距非常明显...

速览正如发布MongoDB5.0时承诺的更快发布频率，年度大版本MongoDB6.0也于2022年正式跟广大数据库爱好者们见面了。目前阿里云MongoDB已经完成了对6.0版本的适配工作，大家可以直接在官网控制台进行购买和尝鲜体验！该版本的主要功能特性包括：●时序集合增强●ChangeStream增强●可查询加密●聚合&query能力增强●集群同步总结来看，MongoDB6.0的新功能旨在促进开发和运营，消除数据孤岛，并消除因不必要地使用额外第三方技术而...

引言PolarDBX是由阿里云自主研发的云原生分布式数据库，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈难题，真正经历了各届天猫双11及阿里云各行业客户业务的考验。在已经发布的PolarDBX5.4.14版本中，我们推出了冷热数据分离存储（下文简称PolarDBXonOSS）这一新功能，以极低的成本来存储海量规模的冷数据，并支持高效的主键与索引点查、复杂分析型查询，满足高可用、MySQL兼容性和任意时间点闪...

01日常数据管理中的痛点最近用户小明遇到了问题，他在一次发布之后，由于程序bug，导致核心库的数据出错，急需订正，这个时候小明希望能够通过某种方式能够查到这个库在变更之前的数据，来进行变更的溯源。最后小明通过下载备份集并本地导入的方式查到了数据，但是整体耗费的时间很长，耽误了问题发生后的最佳止血时间。事实上，现在很多用户使用在线库进行日常的自助取数，数据分析，在这个过程中，我们还遇到了很多其他问题：...

前言数据库迁移上云是大数据时代的一大趋势，PolarDBMySQL是阿里云自研的云原生数据库，主要处理在线事务负载(OLTP,OnLineTransactionalProcessing)，深受企业用户的青睐。当下，数据分析对于企业的重要性越发显著：企业使用数据驱动决策，利用分析结果精准调配资源，从而降低成本，提升企业效率，推动业务创新，快速适应外部环境的变化。然而，传统数仓架构的滞后性限制了企业的创新步伐。因此，企业对OLTP数据库提出更高的要...

一、分布式数据库面对的问题从广义上来理解，具备分布式能力的数据库便可以称为分布式数据库。其显著特征是实现了副本一致性的协议，在某种程度上具备scaleup的能力，典型的代表有MySQLMGR、OracleRAC以及云厂商阿里云的PolarDB、AWSAurora等。从狭义上来理解，真正意义上的分布式数据库应该是具备水平伸缩能力的数据库，其特征为数据分区和横向的线性扩展能力。业界典型的代表有GoogleSpanner、TiDB、PolarDBX、HBase、OceanBa...

01为什么要做这个测试二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的，因此索引的写入需要与主键的写入放在一个事务当中，事务的性能是二级索引性能的基础。目前市面上的分布式数据库中，从使用体验的角度看主流有几种形态：1.以TiDB、CockroachDB等为代表的纯透明的用法。从表现上来看，该种类型的数据库所有表都是分布式表，并且不需要指定分区键，其核心逻辑是使用分布式事务来维护全局索...

代码结构image.png1sliceMainAbilitySlice：计算器交互界面，用于完成界面元素渲染、按钮事件绑定动作。2utilsMathUtil：用于计算表达式结果的工具类，封装有运算符权重获取、表达式计算等方法。3resourcesresources\base\layout：存放xml布局文件。resources\base\media：存放图片资源文件。resources\base\graphic：存放xml样式文件。4MainAbility：HAP的入口ability，由DevEcoStudio自动生成。5MyApplication：表示HAP的类，...

​​上文​​我们简述了SQL的一些进阶技巧，一些朋友觉得不过瘾，我们继续来下篇，再送你10个技巧一、使用延迟查询优化limit[offset],[rows]经常出现类似以下的SQL语句:SELECTFROMfilmLIMIT100000,10offset特别大!这是我司出现很多慢SQL的主要原因之一，尤其是在跑任务需要分页执行时，经常跑着跑着offset就跑到几十万了，导致任务越跑越慢。LIMIT能很好地解决分页问题，但如果offset过大的话，会造成严重的性能问题，原因主要...

大数据时代，无人不知Google的“三驾马车”。“三驾马车”指的是Google发布的三篇论文，介绍了Google在大规模数据存储与计算方向的工程实践，奠定了业界大规模分布式存储系统的理论基础，如今市场上流行的几款国产数据库都有参考这三篇论文。《TheGoogleFileSystem》，2003年《MapReduce:SimplifiedDataProcessingonLargeClusters》，2004年《Bigtable:ADistributedStorageSystemforStructuredData》，2006年其中，Bigtable是数...

不管是测试还是研发，工作中总有遇到各种各样的问题。比如，你有没有遇到过在数据库中执行某个SQL，却一直不返回结果，这时候的你是不是非常想看一下代码执行到了哪个函数？或者是数据库不响应连接，需要查看数据库当前线程的执行情况呢？而在实际生产中，获取生产系统进程堆栈比较麻烦，需要在服务端后台执行gstack命令。本期为大家介绍的openGauss3.1.0版本中内置gsstack工具，则可以通过函数调用的方式输出指定线程的堆栈，...

选择率估算作为代价模型行数估算的基础，其准确性影响着优化器查询计划的选取，数据库优化器生成的不同查询计划之间可以达到数个数量级的区别。一、当前经典数据库优化器对于等值查询估计的缺点例如，目前形如a1的等值谓词选择率估算可以有以下几种方法：1利用统计信息估算：对查询语句中的等值条件，可分为MCV值和非MCV值进行估算：对MCV值，使用MCV对应的频率统计信息作为选择率；对非MCV值，使用如下经验公式：直接对所有值...

你听过多少款无服务器架构（Serverless）数据库？什么是Serverless呢？简单理解，Serverless分为FaaS和BaaS两个部分，其中FaaS指的是函数即服务，BaaS是后端即服务。举个例子，用户浏览网页，可能涉及CDN资源。如果是静态内容，从对象存储下载照片、视频；如果是动态内容，则触发一个函数计算，云函数将从云数据库获取相应的资源，生成用户所需的动态内容。其中，云函数为FaaS，对象存储和云数据库则为BaaS。传统的云数据库会提...

生活中总是存在着错综复杂的联系，例如喜欢打篮球的人，身高普遍比较高；喜欢穿艳丽色衣服的人，性格会普遍比较开朗；在超市买炸鸡的人，会大概率买啤酒。而反过来，这种联系并不一定成立。在数据库领域，表中的不同属性就像生活中不同的事物，也会存在着各种类似的关联关系。如何利用这种关联关系来提升数据库查询性能？这篇文章可以解密openGauss的一种应用方案，该特性可通过GUC参数enablefunctionaldependency进行控制。1、...

近年来，凭借高可扩展、高可用等技术特性，分布式数据库正在成为金融行业数字化转型的重要支撑。分布式数据库如何在不同的金融级应用场景下，在确保数据一致性的前提下，同时保障系统的高性能和高可扩展性，是分布式数据库的一个核心技术挑战。针对以上分布式一致性的困境，中国人民大学腾讯协同创新实验室研究提出“多级一致性”的事务处理理念。该技术包含严格可串行化、顺序可串行化、可串行化三大隔离级别，可针对不同应用...

9月30日新发布的openGauss3.1.0版本，工具的全量迁移和增量迁移的性能不但有了全面提升，而且支持数据库对象视图、触发器、自定义函数、存储过程的迁移。工具链：MySQL全量迁移支持并行迁移，提升全量迁移性能通过支持表级并行迁移，提升MySQL全量迁移性能，基于sysbench测试模型，在Kunpeng9202p服务器上，10张表（单表容量三百万以上）使用10并发迁移，可达到大于300Ms的迁移性能。工具链：MySQL增量迁移支持十五级并行消费，...

数据也有冷热之分，你知道吗？根据访问的频率的高低可将数据分为热数据和冷数据，访问频率高的则为热数据，低为冷数据。如果热、冷数据不区分，一并存储，显然不科学。将冷数据也存储在昂贵的内存中，那么你想，成本得多高呢？有趣的是，根据我们实际的观察，目前很多使用Redis的业务就是这样操作的。得益于高性能以及丰富的数据结构命令，Redis成为目前最受欢迎的KV内存数据库。但随着业务数据量的爆炸增长，Redis的内存消耗也...

工作中经常需要写各种sql来统计线上的各种业务数据,使用CASE能让你的统计事半功倍，如果能用好它，不仅SQL能解决的问题更广泛，写法也会漂亮地多，接下来让我们看看CASE的各种妙用吧,在开始之前我们简单学习一下CASE表达式的写法CASE表达式的两种写法CASE表示式有简单表达式和搜索表达式两种,如下简单CASE表达式CASEsexWHEN'1'THEN'男'WHEN'2'THEN'女'ELSE'其他'END搜索CASE表达式CASEWHENsex'1'THEN'男'WHENsex'2'THEN'女'ELSE...

🎈1需求大促节零点时，从关注的用户中抽出N个人进行礼品发放，预计全网超过千万用户参加关注抽奖活动，要求：同一用户不能重复参与同一用户不允许二次中奖🎈2设计方案🍮2.1最原始rand()，对每行随机产生一个随机数selectfrom关注用户表orderbyrand()desclimit,0,100预计千万级别的对技术倒排大概率凉凉。🍮2.2N次随机选择SQL效率可以，不过要先后执行两条SQL，并发时有原子性问题，且RAND函数不能保证不重复中奖。offsetSELECTF...