鸿蒙开发者社区

引文在数据库运维过程中，所使用的运维管理平台是否存在这样的问题：1、默认监控粒度不够,业务需要更细颗粒度的监控数据。2、平台默认的监控命令不适合,需要调整阈值量身定制监控策略。3、不同类型的实例或组件需要有不同的监控重点,但管理平台监控固化，难以应对多样化的监控需求。4、只监控系统关键指标,屏蔽不必要的指标,优化CPU消耗、网络、采集数据量等，减少资源消耗,提升系统性能。在数据库运维过程中，用户或者DBA经常...

三、使用Grafana1.添加Prometheus数据源我们可以进入Grafana对监控的内容做一个图形的展示，登入​​http:172.17.137.104:3000​​输入默认用户名​​admin​​，默认密码​​admin​​，之后会提示你修改密码，然后就成功登入Grafana进入后添加Prometheus的数据源，在​​Connections​​里有​​Datasources​​，总之找到​​Datasources​​即可点击​​Adddatasource​​选择​​Prometheus​​，进入配置在红框处填写Prom...

一、环境介绍本文环境，以及本文所采用数据库为​​GreatSQL8.0.3224​​$catetcsystemreleaseRedHatEnterpriseLinuxServerrelease7.9(Maipo)$unameaLinuxgip3.10.01160.el7.x86641SMPTueAug1814:50:17EDT2020x8664x8664x8664GNULinux$lddversionldd(GNUlibc)2.17二、手动安装0.简单介绍PrometheusServer:用于收集和存储时间序列数据。ClientLibrary:客户端库，为需要监控的服务生成相应的metrics并暴露给Prometheusserver。当P...

一、背景分享一个在项目运维中遇到的一个主从复制限制的一个坑，项目的架构为主集群+灾备集群，每个集群为一主两从模式。主集群到灾备集群的同步为主从复制的方式，根据业务需求灾备集群需要忽略系统库跟某些配置表，所以才会触发此限制，而这个限制如果我们之前没有遇到过，那么排查起来也是相对不易的。二、限制描述1、主从同步出现报错greatsql>showslavestatus\G1.rowSlaveIOState:WaitingformastertosendeventMasterHost:1...

前言ProxySQLProxySQL是基于MySQL的一款开源的中间件的产品，是一个灵活的MySQL代理层，可以实现读写分离，支持Query路由功能，支持动态指定某个SQL进行缓存，支持动态加载（无需重启ProxySQL服务），故障切换和一些SQL的过滤功能。GreatSQLMGR​​GreatSQL​​是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为MySQL或PerconaServer的可选替换，用于线上生产环境，且完...

起因在GreatSQL社区上有一位用户提出了“手工构建MGR碰到的次节点一直处于recovering状态”，经过排查后，发现了是因为新密码验证插件​​cachingsha2password​​​导致的从节点一直无法连接主节点，帖子地址：➥​​https:greatsql.cnthread42021.html​​复现环境介绍本文验证环境，以及本文所采用数据库为​​GreatSQL8.0.3224​​$catetcsystemreleaseRedHatEnterpriseLinuxServerrelease7.9(Maipo)$unameaLinuxgip3.10.01...

07ClickHouse企业版收益在ClickHouse企业版中，SharedMergeTree表引擎是ReplicatedMergeTree表引擎的更高效的替代品。为ClickHouse企业版用户带来以下好处：无缝集群扩展ClickHouse企业版将所有数据存储在存储量几乎无限的共享存储中。SharedMergeTree表引擎为所有表添加了共享的元数据存储。它实现了在该存储之上运行的节点几乎无限的扩展。服务器实际上是无状态的计算节点，我们可以立即改变它们的规格和数量，如下示例：假设...

1.背景云原生数据库在设计之初是为了降低数据库实例自身产生的资源费用和实例的运维成本，基于云计算自身资源池化技术以及云原生技术的快速发展，云数据库实例资源费用相较于传统数据库已经有了大幅下降，高效快捷的自动扩缩容能力也让数据库实例的运维得以简化。但是由于数据库系统本身的复杂性，特别是分布式数据库多机多线程的并行执行模型的特性，再加上基于数据库构建的上层应用的多样性、时变性等特征，使得云数据库实例...

引言日前，在加拿大温哥华召开的数据库领域顶会VLDB2023上，来自阿里云瑶池数据库团队的论文《LindormTSDB:ACloudnativeTimeseriesDatabaseforLargescaleMonitoringSystems》，成功入选VLDBIndustrialTrack（工业赛道）。论文背景论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战，描述了阿里云多模数据库Lindorm带来的一站式解决方案。其中，阿里云数据库团队在架构上大胆探索了数据库集成AI引擎...

01急症突发：谁动了我的存储空间？这天，晨钟刚刚敲过，数据库侍卫的急报声就响彻了寒霜城整座城池：“报，云数据库RDSMySQL监控触发报警，数据库实例磁盘满，即将被锁定！”“奇怪，我们明明刚检查过实例存储空间，剩余空间较多，理论上不应该这么快被写满啊。”上一班的侍卫挠头不解道。危急之时，寒霜城向瑶池派发出求助信号，妙手神医瑶池即刻现身，经过一番探查，发现是数据库中「临时文件数据量(tempfilesize)」在一段时...

导读云原生数据库PolarDB分布式版（PolarDBforXscale，简称“PolarDBX”）是阿里云自主设计研发的高性能云原生分布式数据库产品。作为PolarDBforXscale分布式数据库产品存储引擎的核心技术模块，Lizard事务系统承担了重要角色。本系列文章将分为两部分对其进行深度解读，上篇介绍LizardSCN单机事务系统，本篇将深入介绍LizardGCN分布式事务系统。PolarDB分布式版存储引擎，想要实现全局分布式事务的ACID特性，和全生态一致性，...

01ClickHouse介绍ClickHouse是一个全球流行的开源高性能、可扩展列式数据库技术，核心应用于在线分析处理（OLAP）业务，在DBEngine全球数据库流行度排榜排名前列，逐年关注度增长迅猛。ClickHouse分析性能优异，在典型分析场景下，支持数十亿级数据行规模，90%查询在1秒内完成。这使得ClickHouse成为企业处理大规模数据，构建实时数仓的理想选择。微软、ebay、Uber等国内外大厂都在使用ClickHouse构建数据分析平台。02ClickHous...

1.技术背景云原生数据库PolarDBMySQL版是阿里云自研产品，100%兼容MySQL。产品具有多主多写、多活容灾、HTAP等特性。交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。XEngine引擎是PolarDB为用户提供的低成本，高性价比的解决方案，LSMtree分层存储结合标准zstd压缩，在性能和成本做到了很好的平衡。在标准sysbench场景下，存储空间相比InnoDB引擎减少60%，读写性能降低1020%。XEngine引擎通过压缩减少...

导读云原生数据库PolarDB分布式版（PolarDBforXscale，简称“PolarDBX”）是阿里云自主设计研发的高性能云原生分布式数据库产品。作为PolarDBforXscale分布式数据库产品存储引擎的核心技术模块，Lizard事务系统承担了重要角色。本篇文章将分为两部分对其进行深度解读，上篇介绍LizardSCN单机事务系统，下篇介绍LizardGCN分布式事务系统。PolarDBforXscale分布式数据库分布式数据库架构关系型数据库作为支撑企业级数据的在线存储...

SaaS多租户背景很多平台类应用或系统（如电商CRM平台、仓库订单平台等等），它们的服务模型是围绕用户维度（这里的用户维度可以是一个卖家或品牌，可以是一个仓库等）展开的。因此，这类型的平台业务，为了支持业务系统的水平扩展性，业务的数据库通常是按用户维度进行水平切分。可是，当平台类应用的一些用户慢慢成长为大用户（比如大品牌、大卖家、大仓库等）后，这些大用户由于其数据量或流量明显要比其它用户多得多，容易导...

4.表达式计算Long数组相加VectorAPI的最大优势就是加速计算，因此接下来我们会探索其可能能够带来性能提升的场景。首先我们对前文中给出的Long数组相加的场景进行了Benchmark，可以看到在数组相加场景下标量执行和SIMD执行相差不大，通过对汇编指令的追踪，我们发现不论是SIMD执行还是标量执行最终都会生成vpaddq这条指令：1.SIMD执行0x00007f3eb13602ae:vpaddq0x10(%r11,%rbx,8),%ymm3,%ymm3;2.标量执行0x00007fa6fd33259a:vpa...

1.背景PolarDB分布式版(PolarDBforXscale，简称：PolarDBX)作为一款云原生分布式数据库，具有在线事务及分析的处理能力(HTAP)、计算存储分离、全局二级索引等重要特性。在HTAP方面，PolarDB分布式版对于AP引擎的向量化已经有了诸多探索和实践，例如实现了列式内存布局、MPP、面向列存的执行器等高级特性（参考《PolarDBX向量化执行引擎》[1]及《PolarDBX向量化引擎》[2]）。PolarDB分布式版正在全面自研列存节点Columnar，负责...

1.背景随着应用场景多样化与快速迭代，业务系统常采用半结构化数据类型进行存储与分析。PolarDB作为阿里云自研的新一代云原生HTAP数据库，其列存索引（InMemoryColumnIndex，IMCI）推出完备虚拟列与列式JSON等功能，可以快速处理大数据和支持多种数据类型（包括结构化与半结构化数据），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据计算与分析，本文将以半...

背景索引是数据库中用于加速查询的常用组件，它通过对数据冗余和重组织来加速SQL查询。通常来说，恰当的索引可以提升系统的查询性能。关于索引存在一些误解，如：索引总是能提升查询性能，因此索引越多越好，比如下图中的例子：只看收益，不看代价是不行的。分布式数据库系统一般支持两类索引：由分布式全局事务维护的全局索引、由本地事务维护的本地索引。这两类索引都会不同程度影响系统的写入性能，下图展示了建立不同数量的...

sortbuffer、内存临时表和joinbuffer，都是用来存放语句执行过程中的中间数据，以辅助SQL语句的执行。在排序的时候用到了sortbuffer，在使用join语句的时候用到了joinbuffer。union执行流程示例表创建数据执行如下SQL：idselecttypetablepartitionstypepossiblekeyskeykeylenrefrowsfilteredExtra1PRIMARYNULLNULLNULLNULLNULLNULLNULLNULLNULLNotablesused2UNIONt1NULLindexNULLPRIMARY4NULL2100Backwardindexscan;UsingindexN...