“删库跑路”作为调侃程序猿的梗一直以来广为流传,但是当真的发生的时候,犹如黑天鹅降临,瞬间业务全线停摆,造成难以估量的损失。在SaaS领域举足轻重的服务提供商微盟,就刚刚经历了这样一场没有硝烟又争分夺秒的战争。一周前,微盟部署在自建MySQL数据库上的核心业务数据,被微盟某运维人员用一种让程序员闻风丧胆的Linux系统下文件删除命令,整体进行了不可逆的删除。更残酷的是,备份数据也一起删除了。所有微盟平台上的...
2022-07-15 17:58:27 6496浏览 0点赞 0回复 0收藏
契机最近到了新的部门任职,开展工作的时候,由于对数据库相关的工作非常熟悉,因此切入点就选择了先从数据库开始,在短短2周的时间里,让线上DB的成本下降80%,并且业务稳定运行。这里把我的经验整理出来分享给大家,大家如果到了一家新环境也可以用类似的方法来做数据库相关的梳理和优化工作,在此次的整理中,我从下面几个部分来做梳理。如何梳理一、数据库实例梳理数据库梳理部分,可以详细梳理各个环境的数据库的资源使用...
2022-07-15 17:58:14 5361浏览 0点赞 0回复 0收藏
简述我们知道,Del命令能删除数据,除此之外,数据在Redis中,还会以哪种方式被删除呢?在Redis内存满一定会返回OOM错误?Key到达过期时间就立即删除?删除大Key会影响性能吗?下面,咱们一起探讨。同步和异步删除1.DEL和UNLINKRedis服务自身对Key的删除,可以分为「同步删除」和「异步删除」。使用DEL命令会触发「同步删除」,如果Key是一个有很多元素的复杂类型,这个过程可能会堵塞一下Redis服务自身,从而影响用户的访问。...
2022-07-15 17:58:04 8547浏览 0点赞 0回复 0收藏
我们在使用Redis时,总会碰到一些redisserver端CPU及内存占用比较高的问题。下面以几个实际案例为例,来讨论一下在使用Redis时容易忽视的几种情形。一、短连接导致CPU高某用户反映QPS不高,从监控看CPU确实偏高。既然QPS不高,那么redisserver自身很可能在做某些清理工作或者用户在执行复杂度较高的命令,经排查无没有进行key过期删除操作,没有执行复杂度高的命令。上机器对redisserver进行perf分析,发现函数listSearchKey占...
2022-07-15 17:57:56 8712浏览 0点赞 0回复 0收藏
本期诊断日分享的案例是MySQL主从延时故障。大家好,我是腾讯云数据库高级产品经理刘迪,网名迪B哥。我们都知道在数据库运维过程中,很多问题都需要靠人力来及时发现和处理,我之前也是一名DBA,可以说我做DBA的那段时间基本没有拥有过完整的属于自己的休息时间,全天候Online。现在AI技术已经广泛运用到了各个领域,数据库运维其实也是同样的,AI可以成为DBA的得力助手,有问题第一时间告警,甚至给出成熟的解决方案,DBA可以...
2022-07-15 17:57:39 5169浏览 0点赞 0回复 0收藏
本期为迪B课堂特刊【MySQL经典案例解析系列】第二期。一、从常见的报错说起故事的开头我们先来看一个常见的sql报错信息:相信对于这类报错大家一定遇到过很多次,“数据大”也是生产过程中绕不开的一个话题。这里的数据“大”,远不止存储空间占用多,其中也包括了单个(表)字段存储多、大,数据留存时间长,数据冗余多,冷热数据不明显导致的体量大,访问峰值随着热点变化明显,逻辑处理复杂导致数据存储压力放大等等。回到这...
2022-07-15 17:57:29 4972浏览 0点赞 0回复 0收藏
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQLInnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3306π联合举办的数据库技术沙龙上的演讲实...
2022-07-15 17:57:21 4768浏览 0点赞 0回复 0收藏
前言2019年10月11日至13日,CCF数据库专委会在济南召开了国内规模最大的、每年一度的数据库学术盛会——第36届CCF中国数据库学术会议(NDBC2019),腾讯TDSQL团队受邀在“数据库产学研合作论坛”,做了主题为“TDSQL对未来分布式数据库的技术研发思考与实践”的技术报告,与国内数据库学界与业界核心技术人员共同探讨国产数据库面临的基础问题和技术发展方向,助力推动我国数据库技术自主可控发展。与此同时,本次会上,腾讯云...
2022-07-15 17:57:07 3044浏览 0点赞 0回复 0收藏
一、场景及需求在金融业务场景中,数据的同步、订阅、分发是常见需求,例如保险行业常见的总分系统架构,多个子库需要实时地将业务数据同步至总库汇总查询;银行核心交易系统中,需要将交易数据实时同步至分析子系统进行报表、跑批等业务操作。因此,腾讯云打造的分布式数据库TDSQL(Tencentdistributedatabase)作为一个金融级数据库产品,对数据的分发、解耦能力是必不可少的。▲基于总分的数据汇总架构▲数据实时同步分析架...
2022-07-15 17:56:01 5259浏览 0点赞 0回复 0收藏
对MySQL的性能和亿级数据的处理方法思考,以及分库分表到底该如何做,在什么场景比较合适?比如银行交易流水记录的查询限盐少许,上实际实验过程,以下是在实验的过程中做一些操作,以及踩过的一些坑,我觉得坑对于读者来讲是非常有用的。首先:建立一个现金流量表,交易历史是各个金融体系下使用率最高,历史存留数据量最大的数据类型。现金流量表的数据搜索,可以根据时间范围,和个人,以及金额进行搜索。建立一张现金流量表...
2022-07-15 17:55:47 6016浏览 0点赞 0回复 0收藏
“说到工作被技术替代,可能更多的人想到的是,那些生产线上的工人,怎么都不会想到程序员。但企业一旦上了云,不管是亚马逊云、阿里云还是腾讯云,只要上了,DBA的很多工作就都被替代掉了““因为很多数据库管理工具之类的基础设施不用再开发和维护了,DBA的职能将被极大的压缩。要命的是,数据库的管理工具,之前基本是每个公司都会开发一遍,也算是有些技术含量的东西,偏偏这块被云替代了,而且实话说,大厂云的那些工具绝...
2022-07-15 17:55:36 4952浏览 0点赞 0回复 0收藏
近年来,传统关系数据库内核的突破性工作变得越来越少,随着各种社交网络、系统推荐等业务需求的不断发展,数据间的依赖和复杂度的逐渐增加。面对这些“连接”,关系数据库的不适应性逐步凸显,图数据库作为NoSQL中关注度最高,发展趋势最明显的数据库,在大数据时代开始被广泛关注。图数据库未来的发展方向是非常不错的,作为数据库从业者,需不断汲取前沿知识,了解行业发展动态,以保持核心竞争力,才能经得起浪潮冲刷。近年...
2022-07-15 17:55:19 4255浏览 0点赞 0回复 0收藏
本文从图数据库目前的市场分布,实际应用场景,图数据库相比于关系型数据库的优势,以及未来的行业展望等几个方面,对图数据库进行了详细介绍。市场分析1.急速增长中的图数据库2.一图胜过千言万语比起传统的信息存储和组织模式,图数据库能够很清晰揭示复杂的模式,尤其在错综复杂的社交,物流,金融风控行业效果更为明显。百花齐放的图数据库,有Operational图数据库、RDF图数据库、多模式图数据、分析及大图数据库,图数据库...
2022-07-15 17:54:23 5983浏览 0点赞 0回复 0收藏
如果将数据存储在关系数据库中,最好将数据规范化,通常需要将数据拆分为通过键逻辑连接的多个表。大多数非简易的查询都需要多个表的连接来完成。本文简要介绍了SQL连接,重点介绍了内连接和外接之间的区别。一、交叉连接要理解SQL连接,最好从交叉连接开始,交叉连接的简单语句如下:selectfromt1,t2;在这篇文章中,我们将使用两个名为t1和t2的示例表:t1t2idnamecodeid++1Joannex22Samz33Emmanuela74Braydent1t2idnamecodeid+...
2022-07-15 17:53:59 6377浏览 0点赞 0回复 0收藏
一个理想的查询过程中,新增加或者修改的数据应该能立即被查询到。腾讯时序数据库CTSDB给人的第一印象好像就是如此工作的,而事实上并非如此。那它实际情况是怎么样的呢?在进行说明之前先大概介绍一下CTSDB处理请求的流程。在CTSDB和磁盘之间有一层FileSystemCache的系统缓存,以使得能够更快地处理搜索请求。插入请求到来时document会先被放入到indexingbuffer,然后被重写为一个segment直接写入到filesystemcache,这个操作...
2022-07-15 17:53:43 5625浏览 0点赞 0回复 0收藏
大家都知道很多关于MySQLServer相关的优化技巧,比如:MySQL参数配置优化、MySQL的SQL语句优化、MySQL的schema设计优化。但却对运行MySQL的操作系统和硬件优化有所忽略。本文从Linux操作系统和服务器硬件的角度来说下关于MySQL的优化技巧,如果在MySQLServer安装部署运行之前,就已经实施了这些操作系统和硬件的优化,相信你的MySQLServer会跑得更加顺畅。BIOS设置iDRAC(IntegratedDellRemoteAccessController)ThermalBaseAlgor...
2022-07-15 16:36:21 4928浏览 0点赞 0回复 0收藏
在我们实际工作过程中,会遇到形形色色的数据库问题,有些问题可以迎刃而解,而有的问题处理起来却比较让人揪心,比如说“主从延迟”问题。今天,有颜更有才的腾讯云数据库美女架构师罗鑫,手把手教你分析造成主从延迟的原因和应对策略。首先,我们先来看一个用户主从延迟的案例:【下面展示步骤为测试环境复现用户主从延迟场景】一、排查步骤1、查询同步延迟状态:登录RO(只读实例)执行showslavestatus\G;查询同步状态。执行...
2022-07-14 16:06:26 5254浏览 0点赞 0回复 0收藏
Redis5.0中以引入的新Redis数据结构“Streams”引起了社区的极大兴趣。不久之后,我想进行社区调查,与有生产用例的用户交谈,并撰写博客。今天我想解决另一个问题:我开始怀疑很多用户只是将Streams作为解决Kafka(TM)类似场景的方案。但实际上,Stream数据结构也被设计为在生产者和消费者消息传递的场景使用,但是认为RedisStreams仅仅对这个场景有用是不够的。Stream是一种极好的模式和“心智模型”,可以在系统设计中取得...
2022-07-14 16:06:12 5070浏览 0点赞 0回复 0收藏
版权声明:本文由腾讯云数据库产品团队整理,页面原始内容来自于severalnines英文官网,若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息,并不意味着腾讯云数据库产品团队赞同其观点或证实其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须经过著作权人合法书面授权并自负全部法律责任。不得擅自使用腾讯云数据库团队的名义进行转载,或盗用腾讯云数据库团队名义发布信息。本文...
2022-07-14 16:05:46 5093浏览 0点赞 0回复 0收藏
版权声明:本文由腾讯云数据库产品团队整理,页面原始内容来自于severalnines英文官网,若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息,并不意味着腾讯云数据库产品团队赞同其观点或证实其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须经过著作权人合法书面授权并自负全部法律责任。不得擅自使用腾讯云数据库团队的名义进行转载,或盗用腾讯云数据库团队名义发布信息。原文...
2022-07-14 16:05:23 6026浏览 0点赞 0回复 0收藏