1.背景介绍心动公司创立于2003年,是一家全球游戏开发和发行商,拥有丰富的研发、发行和代理运营经验。截至2022年中,心动运营38款免费和付费游戏,在全世界拥有5,000万月活跃用户,主要分布在大中华地区、东南亚、北美和南美。2016年,心动推出手机游戏社区和应用商店TapTap,2022年中,TapTap在全球拥有超过5,000万月活跃用户。在研发侧,TapTap当前正在持续加强内容建设及版本迭代,提升用户规模与社区黏性。在此过程中,用...
2022-12-29 11:16:08 4170浏览 0点赞 0回复 0收藏
1.背景介绍各位ClickHouse圈友们!ClickHouse又双叒叕发布新版本了。大家都知道ClickHouse的发版节奏非常快,从官网发布记录来看,2022年依旧保持了一个月一个大版本的节奏,详情可以参阅ClickHouse2022Changelog(https:clickhouse.comdocsenwhatsnewchangelog)。除了主版本之外,小版本就更多了,可见ClickHouse社区非常的活跃,内核迭代效率非常高。在此也呼吁国内的开发者小伙伴们多多参与到ClickHouse社区建设活动...
2022-12-29 11:13:23 4854浏览 0点赞 0回复 0收藏
客户的困扰前几天某程序员小王向阿里云咨询他的SQLServer数据库整体负载较高,是否有优化的方法?前几天另外一个工单则是需要阿里云工程师帮忙定位某一个时刻的数据库性能尖刺的问题。这些都是常见的性能诊断工单,其实数据库性能诊断不仅对其数据库技能要求较高,而且需要大量的前期准备工作,如收集各种性能基线、性能指标和慢SQL日志等,尤其是面对多数据库性能调优时,往往事倍功半。如何评估数据库负载情况?当问到,如...
2022-12-28 11:23:40 2971浏览 0点赞 0回复 0收藏
前2言在国家层面提出加快建设科技强国,实现高水平科技自立自强的大背景之下,某超大型保险(集团)公司深入推进数字化转型,紧随先锋技术发展趋势,前瞻性布局启动IT架构分布式改造转型,并于21年9月圆满实现了最后一个规模高达20TB+核心数据库的全面迁移改造工作,也为后续向云原生多活架构演进打下了坚实的基础。该数据库国产迁移项目成功上线,树立了金融行业践行科技强国的标杆实践,也是对国家科技自立自强战略以及国产技...
2022-12-28 11:19:34 3650浏览 0点赞 0回复 0收藏
RDSAliSQL简介AliSQL是阿里云RDS团队深度优化的独立MySQL分支,除了社区版的所有功能外,AliSQL提供了类似于MySQL企业版的诸多功能,如企业级备份恢复、审计日志、线程池、BinloginRedo等。RDSMySQL使用AliSQL内核,为用户提供了MySQL所有的功能,同时提供了企业级的安全、备份、恢复、监控、性能优化、只读实例、Serverless等高级特性。Binlog是谓何物Binlog(Binarylog)是MySQLServer层维护的一种二进制日志,以事务级别记...
2022-12-28 11:18:45 2855浏览 0点赞 0回复 0收藏
前言数据库迁移上云是大数据时代的一大趋势,PolarDBMySQL是阿里云自研的云原生数据库,主要处理在线事务负载(OLTP,OnLineTransactionalProcessing),深受企业用户的青睐。当下,数据分析对于企业的重要性越发显著:企业使用数据驱动决策,利用分析结果精准调配资源,从而降低成本,提升企业效率,推动业务创新,快速适应外部环境的变化。然而,传统数仓架构的滞后性限制了企业的创新步伐。因此,企业对OLTP数据库提出更高的要...
2022-12-28 11:17:38 3477浏览 0点赞 0回复 0收藏
随着近些年云计算、人工智能的推广普及,云数据库和AI的结合已经成为趋势和潮流。“智能化”是阿里云数据库的战略发展方向之一,结合数据库对数据“近水楼台”的优势,我们希望利用DB相关技术来优化AI流程,让RDS内置机器学习服务,快速支撑AI业务发展,助力用户业务智能:RDSMySQL机器学习服务应运而生。初识RDSMySQL机器学习RDSMySQLMachineLearning是一种集成在RDSMySQL内的全托管机器学习解决方案,通过内置机器学习服务以...
2022-12-28 11:16:40 3301浏览 0点赞 0回复 0收藏
01为什么要做这个测试二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的,因此索引的写入需要与主键的写入放在一个事务当中,事务的性能是二级索引性能的基础。目前市面上的分布式数据库中,从使用体验的角度看主流有几种形态:1.以TiDB、CockroachDB等为代表的纯透明的用法。从表现上来看,该种类型的数据库所有表都是分布式表,并且不需要指定分区键,其核心逻辑是使用分布式事务来维护全局索...
2022-12-28 11:16:10 4122浏览 0点赞 0回复 0收藏
前言云数据库以及Serverless数据库的出现,对传统IT行业产生了巨大影响。用户可以在云中快速启动并运行数据库,而无需关心任何基础设施。随着Serverless以及FaaS的不断成熟,云数据库的发展方向也相应的发生了变化,降本增效越来越受到重视。同时在外界环境的快速变化下,应用程序的快速开发、快速迭代、高扩展性也成为了主要的需求。阿里云RDSServerlessDataAPI正是在这种背景下诞生的。RDSServerlessDataAPI提供了数据库操作...
2022-12-28 11:14:45 3461浏览 0点赞 0回复 0收藏
01背景:企业介绍业务诉求韵达主要面向国内外提供快递、快运、供应链、仓储服务等,目前拥有4万多家快递服务网点,3000多家快运服务网点,200多家加盟商,以及100多家分拣中心,其中包括4200条快递干线,1000多条快运干线,150家城市配送站,业务覆盖了100多家重点城市,遍布全球30万个国家和地区,拥有200万平米仓储面积,从业人员30多万。韵达每日订单量高达几千万,每个订单有多种标签信息,因此数据量巨大。其中上游业务方...
2022-12-28 11:13:56 2997浏览 0点赞 0回复 0收藏
背景AnalyticDBMySQL作为一款实时数仓产品,在传统数仓的能力基础上为了支持低延迟的写入、更新场景,架构上设计了实时存储引擎;用户的写入、更新会以appendonly的方式写入实时存储引擎,经过compact之后构建索引以支持复杂的计算场景。从架构上看,很庆幸SAPHANA、SingleStore有着类似的设计。在线上服务大客户的同时,实时存储引擎也遇到了一些设计、性能上的瓶颈。在一些大宽表场景下,单行的更新带来了严重的写放大问题;...
2022-12-28 11:12:48 3736浏览 0点赞 0回复 0收藏
引言车联网、共享出行、智慧物流等领域的快速发展产生了大量的时空轨迹数据。这些轨迹数据源源不断的产生,要求存储系统具备较高的写入能力、可扩展能力以及较低的存储成本。同时针对这些轨迹数据又产生了各类时空查询,按照实时性的要求分为三类场景:在线查询,如针对历史轨迹的时空范围查询(过去24小时车辆在某个区域的行驶轨迹)、周边查询(附近2公里内的出租车)等,一般要求在毫秒或秒级。实时计算,如实时的电子围栏判...
2022-12-27 11:27:46 4552浏览 0点赞 0回复 0收藏
关于论文一向低调的AWS终于在2022年发了一篇关于DynamoDB的论文——《AmazonDynamoDB:AScalable,PredictablyPerformant,andFullyManagedNoSQLDatabaseService》。(论文地址:https:www.usenix.orgsystemfilesatc22elhemali.pdf)这已经距离DynamoDB发表的第一篇论文已经过去了15年。当然,业界的人都知道,15年前的那一篇《DynamoAmazon'sHighlyAvailableKeyvalueStore》与现在在AWS运行的DynamoDB没有任何关系,原作者从Amazo...
2022-12-27 11:25:07 3334浏览 0点赞 0回复 0收藏
一、分布式数据库面对的问题从广义上来理解,具备分布式能力的数据库便可以称为分布式数据库。其显著特征是实现了副本一致性的协议,在某种程度上具备scaleup的能力,典型的代表有MySQLMGR、OracleRAC以及云厂商阿里云的PolarDB、AWSAurora等。从狭义上来理解,真正意义上的分布式数据库应该是具备水平伸缩能力的数据库,其特征为数据分区和横向的线性扩展能力。业界典型的代表有GoogleSpanner、TiDB、PolarDBX、HBase、OceanBa...
2022-12-27 11:23:55 3796浏览 0点赞 0回复 0收藏
一、BinlogParallelflush优化优化背景BinlogCommit瓶颈分析当我们在MySQL官方代码上做sysbench时,可以看到如上图的耗时占比。在低并发下,redolog和binlog的IO操作耗时占大头,然而在高并发下,耗时占比的大头是flushbinlog操作,IO操作只占到35%左右。这是因为MySQL的binloggroupcommit机制合并的是事务间的IO,在并发数很少的时候,只能合并几个事务的IO操作,在并发数很多的时候,可以合并几百个事务的IO操作,差距非常明显...
2022-12-27 11:23:26 3124浏览 0点赞 0回复 0收藏
引言PolarDBX是由阿里云自主研发的云原生分布式数据库,专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈难题,真正经历了各届天猫双11及阿里云各行业客户业务的考验。在已经发布的PolarDBX5.4.14版本中,我们推出了冷热数据分离存储(下文简称PolarDBXonOSS)这一新功能,以极低的成本来存储海量规模的冷数据,并支持高效的主键与索引点查、复杂分析型查询,满足高可用、MySQL兼容性和任意时间点闪...
2022-12-27 11:22:42 2776浏览 0点赞 0回复 0收藏
速览正如发布MongoDB5.0时承诺的更快发布频率,年度大版本MongoDB6.0也于2022年正式跟广大数据库爱好者们见面了。目前阿里云MongoDB已经完成了对6.0版本的适配工作,大家可以直接在官网控制台进行购买和尝鲜体验!该版本的主要功能特性包括:●时序集合增强●ChangeStream增强●可查询加密●聚合&query能力增强●集群同步总结来看,MongoDB6.0的新功能旨在促进开发和运营,消除数据孤岛,并消除因不必要地使用额外第三方技术而...
2022-12-27 11:21:53 4332浏览 0点赞 0回复 0收藏
1.前言聚水潭成立于2014年,以电商SaaSERP切入市场,凭借出色的产品和服务,快速获得市场领先地位。发展至今,聚水潭已对接300+线上平台渠道,服务商家超80万,2020双11季全网处理订单总量达8.52亿,现在,全国电商每发出56个包裹中就有1个来自聚水潭系统。当前,聚水潭使用的阿里云数据库实例超2000个,这些实例用于以SaaSERP为核心的胜算、聚货通、云会计、淘跟单、聚工单等聚水潭全系列业务中,产品包括OLTP的PolarDBMySQL、...
2022-12-27 11:21:15 4177浏览 0点赞 0回复 0收藏
01日常数据管理中的痛点最近用户小明遇到了问题,他在一次发布之后,由于程序bug,导致核心库的数据出错,急需订正,这个时候小明希望能够通过某种方式能够查到这个库在变更之前的数据,来进行变更的溯源。最后小明通过下载备份集并本地导入的方式查到了数据,但是整体耗费的时间很长,耽误了问题发生后的最佳止血时间。事实上,现在很多用户使用在线库进行日常的自助取数,数据分析,在这个过程中,我们还遇到了很多其他问题:...
2022-12-27 11:19:22 6057浏览 0点赞 0回复 0收藏
1.背景2022年6月8日,RedisInc.的官方博客发布了一篇名为《13年后,Redis是否需要一个新架构?》[1]的文章,这篇文章由Redis的联合创始人兼CTOYiftachShoolman、首席架构师YossiGottlieb以及性能工程师FilipeOliveira联合署名,被业界认为是Redis官方针对Dragonfly[2]“碰瓷式”营销的回应。Dragonfly是一款兼容RedisMemcached协议的内存存储系统,从Dragonfly官方发布的基准测试结果来说,声称自己比Redis快了25倍,单个存储节...
2022-12-27 11:16:22 4869浏览 0点赞 0回复 0收藏