这个用户很懒,还没有个人简介
私信
主帖 46
回帖
视频
提问
回答
资源
专栏
01概述对于数据库来说,其中俩个核心的模块是:优化器和执行引擎。优化器负责给执行引擎提供输入,它接收来自SQLParser解析好的AST树,然后需要从所有可能的计划中选择代价最优的计划提供给执行引擎。基于代价的优化器本质上是一个复杂的搜索问题,想要解决好这个问题,需要从四个方向入手:1)搜索框架:既然是搜索问题,那么就需要一个搜索框架来承载这个问题。从数据库的发展历程来看,基于Cascades的搜索框架已经成为了业界...
2天前 95浏览 0点赞 0回复 0收藏
1背景介绍疫情肆虐,有效隔离是尽快战胜病毒的有效手段,多个地方政府都提出了严格的居民出行管理条例,例如杭州市余杭区2月3日发布了实行“十项从严”管控措施:这给社区管理带来新的挑战,传统门卫盯人存在以下几个问题:1.进出人员情况全凭人工记录,出现错漏,不能及时对频繁外出居民有效劝阻。2.缺乏全局角度对居民隔离整体情况的掌控和度量,例如有哪些人频繁出入,出入总人数.为了解决居民出入管理的上述几个问题,阿里...
2天前 65浏览 0点赞 0回复 0收藏
写在前面2020以出人意料的节奏拉开序幕之后,Tair团队的同学迎来史上最忙碌的年后复工:钉钉依赖的Tair集群进行了数量级的扩容为腾飞的钉三多插上了翅膀;Tair团队云Redis服务为公共云上迅猛增长的在线教育等业务提供了持续的动力。Tair团队也在更多新的领域展示卓越的身影,在存储顶会FAST20上发表了HotRing内存引擎论文;Tair的图模型,TairGDB图数据库也在阿里云商业化上线。以上这些都是Tair团队日常工作的缩影:迎接挑战、...
2天前 116浏览 0点赞 0回复 0收藏
今天为大家带来五号武器云原生多模数据库Lindorm。■一、引言2020双十一顺利落下帷幕,这也是云原生多模数据库Lindorm参与的第九个双十一,其作为阿里经济体的核心数据库产品之一,全面支撑了淘宝、天猫、蚂蚁、菜鸟、阿里妈妈、高德、优酷、钉钉、大文娱等经济体业务的结构化、半结构化数据存储需求,今年更是为申通这样的公有云用户保驾护航。在今年的双十一中,Lindorm整体峰值请求达到了8.8亿次每秒,全天吞吐25万亿次,平...
2天前 103浏览 0点赞 0回复 0收藏
MongoDB在今年正式发布了新的4.4大版本,这次的发布包含众多的增强Feature,可以称之为是一个维护性的版本,而且是一个用户期待已久的维护性版本,MongoDB官方也把这次发布称为「UserDrivenEngineering」,说明新版本主要是针对用户呼声最高的一些痛点,重点进行了改进。阿里云作为MongoDB官方的全球战略合作伙伴,将全网独家上线4.4新版本。接下来,数据库MongoDB团队针对一些用户关注度比较高的Feature,进行深度解读。可用性...
2天前 59浏览 0点赞 0回复 0收藏
一背景作为面向大数据场景的半结构化、结构化存储系统,云原生多模数据库Lindorm已经在阿里发展了近十年,并始终保持着快速的能力更新和技术升级,是目前支撑阿里经济体业务的核心数据库产品之一。在过去的岁月,伴随着经济体内部对于海量结构数据存储处理的需求牵引,其在功能、性能、稳定性等方面的诸多创新历经了长时间的大规模实践考验,被全面应用于阿里集团、蚂蚁集团、菜鸟、大文娱等各个业务板块,成为目前为止公司内部...
2天前 106浏览 0点赞 0回复 0收藏
1整体说明上图是云数据库Redis&MongoDB的安全体系图,横向是实例控制链路,纵向是实例数据链路。对于控制链路,事前为了避免恶意操作或者误操作的发生,云数据库Redis&MongoDB提供了多个维度的授权机制,并通过风控系统进行释放保护,在极端场景下安全风险事件发生时,通过云监控可以第一时间发现问题,通过控制台以及审计日志可以快速的定位问题,当风险发生后,通过系统提供的各项恢复能力可以快速恢复业务,针对实例删除,可...
2天前 63浏览 0点赞 0回复 0收藏
Oracle备份面临的挑战在传统企业里,经常会用Oracle数据库去承载业务重要核心数据,同时Oracle针对不同的恢复场景提供了灵活多样的恢复操作方法,灵活的设计给备份和恢复带来了更多的复杂性,因此Oracle的备份管理相比于MySQL而言,对DBA在专业性上有更高的要求。比如说,Oracle环境有多种:Standalone,Standalone+DataGuard,RAC,RAC+DataGuard,双机Oracle等,其中DataGuard还有多种运行模式,不同的Oracle环境的备份有一些...
2天前 262浏览 0点赞 0回复 0收藏
1.备份到二级数据库从数据的生成和管理角度,企业数据可以分为一级和二级数据两类。其中一级数据是系统直接生成的数据,例如存储在线订单的数据库。二级数据的内容来源于一级数据,可能是一级数据的简单复制(例如订单数据库的一个备份副本),也可能是在一级数据的基础上发生格式或内容的变化(例如基于在线订单数据生成的商业分析数据库)。业界通常认为,从数据量看一级数据仅仅是企业需要维护数据“冰山一角”,Gartner报告...
2天前 59浏览 0点赞 0回复 0收藏
在智能化管控数据库的探索与实践过程当中,对数据库SQL的诊断根因定位是我们一直以来需要面对的问题,从阿里巴巴集团到阿里云数据库,我们管控的实例数从几万规模扩大到几十万规模,DBA在面对数据库性能问题的时往往需要反复观察性能数据、日志数据、会话信息等,耗费较多的分析时间。大部分难以被发现的故障往往都是在海量慢SQL中的慢SQL,规则式的排序也许可以解决80%的问题,但是总会有边界条件导致故障无法被发现或者定位。...
2天前 51浏览 0点赞 0回复 0收藏
1.企业数据风险背后的思考去年DBS收到一个企业咨询工单,他们内部系统遭到了勒索病毒的攻击,导致所有服务器被全盘加密,其中也包括运行着ERP核心数据的SQLServer数据库,万幸的是事发一周前DBA将数据库导出成离线文件,备份在网盘里,DBS通过紧急下载备份数据并原地恢复,数据总算恢复了90%,但仍然有近1周多时间的数据无法恢复,为此企业折腾了好久才通过线下对账的方式勉强恢复了绝大多数的数据。事后,企业提工单咨询DBS,...
2天前 128浏览 0点赞 0回复 0收藏
1有“备”方可无患今年黑天鹅事件接踵而至,世界范围史无前例的新冠疫情,原油和诸多因素引发美股8天3次熔断,蝗虫,澳洲火灾等等,谁也不知道今年还会有什么发生。互联网行业今年也经历了几次黑天鹅事件:有些人可能心存侥幸,恶性事件没有发生在自己身上。然而《随机漫步的傻瓜》提出了一个观点:你的成功不见得是因为比其他人高明,而很可能是运气的结果。随机现象比比皆是,大起大落只是发生在须臾之间。最大的风险,不是你...
2天前 369浏览 0点赞 0回复 0收藏
今天提前为大家揭秘数据库自治服务DAS的一个创新功能——AutoScale,基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。01背景为业务应用选择一个合适的数据库规格,是每个数据库运维同学都会经常面临的一个问题。若规格选的过大,会产生资源浪费;若规格选的过小,计算性能不足会影响业务。通常情况下,运维同学会采用业务...
2天前 66浏览 0点赞 0回复 0收藏
在我们业务系统中,数据库越来越扮演着举足轻重的角色。和其它公司一样,在阿里巴巴业务场景下,大部分业务跟数据库有着非常紧密的关系,数据库一个微小的抖动都有可能对业务造成非常大的影响,如何让数据库更稳定,得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化,通常会提到三个层面:1)应用层面优化:应用代码逻辑优化,以更高效的方式处理数据;2)实例层面优化:通过环境参数调整,优化实例的运行效率;3)...
2天前 73浏览 0点赞 0回复 0收藏
事件背景回顾根据权威IT媒体报道,2月25日微盟官方发布公告称,2月23日19点,微盟收到系统监控报警,服务出现故障,随后微盟召集相关技术人员进行定位,发现大面积服务集群无法响应,生产环境及数据遭受严重破坏。微盟的业务系统数据库(包括主备)被其公司运维人员删除。目前微盟技术团队正在努力恢复数据,但数据恢复较慢。对新用户服务已经恢复正常,但官方预计老用户数据要到2月28日才有结果……众所周知,“删库跑路”是IT...
2天前 114浏览 0点赞 0回复 0收藏
背景数据湖当前在国内外是比较热的方案,MarketsandMarkets(https:www.marketsandmarkets.comMarketReportsdatalakesmarket213787749.html)市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案,有效解决了业务痛点;还有很多企业在构建或者计划构建自己的数据湖。Gartner2020年发布的报告显示(https:www.gartner.comsmarterwithgartnerthebestwaystoorg...
2天前 35浏览 0点赞 0回复 0收藏
8月14日,一名攻击者在黑客论坛上声称,窃取了美国电信运营商TMobile的服务器数据,约1亿用户个人数据,总计106GB数据,其中包括TMobile的客户关系管理(CRM)数据库,姓名、电话、出生日期、驾驶执照号码和社会保险号码。8月17日,TMobile承认发生数据泄漏事件,据悉,受这次数据泄漏影响的用户超过4000多万。除了TMobile外,今年以来美国管道、保险和肉类供应企业等相继遭遇网络攻击事件,且都是针对数据的攻击。根据公开报道...
2天前 70浏览 0点赞 0回复 0收藏
SQL是一种简单易用的业务逻辑表达语言,但随着扫描数据量和查询复杂度的增加,查询性能会变得越来越慢。想要对SQL进行调优,往往需要关注以下几个部分:需要了解引擎架构:用户往往需要对SQL引擎的架构特点有一定的了解,才能和业务的数据分布特征以及业务场景特征完美结合,来进行数据建模,从而设计出符合SQL引擎架构特点的表结构。SQL特征差异较大:即席查询的SQL往往变化较大,包括参与Join的表个数、Join条件、分组聚合的...
2022-04-20 23:01:51 229浏览 0点赞 0回复 0收藏
编者按:近几年国产数据库市场风生水起,涌现了多款优秀的国产数据库产品,本文选取了三款典型的国产分布式数据库进行全方位对比压测,呈现了国产分布式数据库的发展现状。对于所有的应用系统,数据都是承载业务逻辑的核心资产,而存储数据的数据库系统则是最核心的系统之一。随着国产化进程的不断推进,应用系统基于国产化数据库进行构建越来越重要,也越来越成为数据库选型中的主流。近几年国产数据库市场风生水起,涌现了多...
2022-04-20 15:43:46 166浏览 0点赞 0回复 0收藏
一背景和架构我们都知道,利用编写程序来动态实现我们应用所需要的逻辑,从而程序执行时得到我们需要的结果。那么数据库就是一种通过输入SQL字符串来快速获取数据的应用。当然,假设没有数据库这种系统应用,用程序如何实现呢?我们可能会发现,即使不管数据如何存储、数据是否并发访问,仍然需要不断通过修改程序处理不同应用对数据的不同请求。比如大数据领域,我们通常通过非关系型数据库的API,实现对数据的获取。然而这种...
2022-04-18 14:34:39 127浏览 0点赞 0回复 0收藏