鸿蒙开发者社区

前言每年双十一购物狂欢节都是云原生数据仓库AnalyticDBMySQL版（原分析型数据库MySQL版）的一块试金石。今年AnalyticDB除了在阿里数字经济体内进入更多核心交易链路，全力支撑双十一以外，AnalyticDB全面拥抱云原生，构建极致弹性，大幅降低成本，释放技术红利，重磅发布了诸多全新企业级特性，让用户及时拥有极高性价比的云原生数据仓库。云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB是一种支持高并发低延时查询的新一...

7月23日，阿里云全新升级新一代云原生数据仓库AnalyticDB，达摩院数据库首席科学家李飞飞重磅发布了“万仓计划”，助力每个企业拥有属于自己的云原生数据仓库。数字经济时代，越来越多的企业通过数据驱动业务增长、流程优化及更多的业务创新。当前企业数据朝着海量、实时化、多样化的趋势演进，对企业数据仓库也提出了新的挑战与演进诉求。同时，数据正在发生质的变化，数据爆炸性增长，实时数据比例大幅增长，数据库在云上比例...

1.背景介绍大数据时代早期，ApacheHadoop是构建具有海量存储能力数据仓库的首选方案，许多企业用户采用在云上购买ECS，自建Hadoop集群来存储和处理数据。ApacheSpark作为一个内存计算框架，具有流处理、批处理，图计算，机器学习，SQL查询等多种能力，社区活跃度高，并且Spark天然支持Hadoop数据源，可以完美的融入Hadoop生态，提供高效的计算能力。Hadoop+Spark成为大数据领域的明星，被广泛用于离线大数据的挖掘。云上的Hadoo...

一.背景随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。IDC发布的十项2021年中国云计算市场趋势预测中，有三项和数据湖分析有关。可以预见，跨系统集成能力、数据控制能力和更加全面的数据驱动能力，将会是未来数据分析系统重要的竞争领域。AnalyticDBPostgreSQL版（简称ADBP...

1.前言2020双十一顺利落下帷幕，Tair表现一如既往地稳定。承载双11核心链路实时在线的超大流量，吞吐量再创新高，峰值访问量每秒15亿次。全球分布式数据库产品形态，多活数据同步量高达1亿OPS秒，为业务提供了异地多活架构的数据能力。在安全风控等业务中，首次将数据模型和sketches运算下沉至Tair。应用服务节省50%机器资源，数据处理吞吐能力提升100%，读写RT下降30%，在降低业务成本的同时，大幅提升风控时效和效果。Tair与...

引言每年一度的双11购物狂欢节，数据库自治服务DAS以持续的创新为之保驾护航，同时也在延续它一次次华美的蜕变。从最初面向DBA的工具化辅助诊断，到2017年SelfdrivingPlatform理念提出，开始孵化和锤炼数据库自治能力，2018年DAS自治能力逐步覆盖集团全网数据库实例，如自动SQL优化、自动空间、自动异常修复等，2019年11月，为更好服务客户，混合云数据库管理HDM+CloudDBA+自治能力，正式升级为数据库自治服务DAS，将锻炼出来的...

今年双十一快递有多快、双十一快递比外卖还快这些话题在今年双十一期间频繁出现在热搜榜上，“凌晨付款起床收货”成了今年双十一快递时效的新标签。作为天猫官方物流服务提供方，今年菜鸟联合14家快递公司为消费者提供了如任意门般的天猫双十一物流体验。而在这背后，正是阿里云云原生数据仓库AnalyticDBMySQL为菜鸟运配的运营决策提供了强有力的数据支撑，使包裹能够通过更优更快的线路到达消费者手中。菜鸟运配双十一面临的挑...

简介：Presto作为OLAP界领先的分析引擎在国内外有着广泛的应用，各个公司要么在自己的机房自建Presto，要么在云上使用ECS自建Presto来使用，但是开源的Presto在用户学习成本、数据摄入、生态兼容性、高可用、对云上数据的支持度方面还是有一些薄弱。因此阿里云数据湖分析团队打造了一个DLASQL(兼容Presto)CU版本，今天给大家介绍一下它的一些特性。一、背景介绍1.1什么样的客户需要数据湖在数据处理领域，数据湖相对来说是一个...

一、车联网市场及趋势浅析（一）什么是车联网未来智能互联化是一个不可逆转的趋势，生活中常用的物品都在逐渐联网化，例如洗衣机、电视、智能家居等设备，通过联网可以用手机控制，甚至于智能穿戴的设备，衣服、眼镜、鞋都有逐渐联网的趋势。手机作为第一个智能终端，它已经从简单的通话工具演变成了可以社交，查看新闻，甚至办公的工具。汽车也是一样，现在汽车正在逐渐联网，成为第二个智能终端。汽车作为智能终端接入网络之...

一背景作为面向大数据场景的半结构化、结构化存储系统，云原生多模数据库Lindorm已经在阿里发展了近十年，并始终保持着快速的能力更新和技术升级，是目前支撑阿里经济体业务的核心数据库产品之一。在过去的岁月，伴随着经济体内部对于海量结构数据存储处理的需求牵引，其在功能、性能、稳定性等方面的诸多创新历经了长时间的大规模实践考验，被全面应用于阿里集团、蚂蚁集团、菜鸟、大文娱等各个业务板块，成为目前为止公司内部...

在《Greenplum备份恢复工具gpbackup》系列文章的上篇中，我们简单介绍了gpbackup，并进行了源码编译。在今天的《中篇》中，我们将介绍gpbackup所有参数的详细使用方法。本篇文章将参考以下内容进行操作：GPDB6.20DDocs官方英文文档的gpbackup部分；gpbackup命令帮助信息注意：gpbackup和gprestore命令只需要放置到master节点的greenplumdbbin目录下，gpbackuphelper命令需要放置到所有segmenthost节点的greenplumdbbin目录下。1...

背景数据湖当前在国内外是比较热的方案，MarketsandMarkets（https:www.marketsandmarkets.comMarketReportsdatalakesmarket213787749.html）市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案，有效解决了业务痛点；还有很多企业在构建或者计划构建自己的数据湖。Gartner2020年发布的报告显示（https:www.gartner.comsmarterwithgartnerthebestwaystoorg...

写在前面2020以出人意料的节奏拉开序幕之后，Tair团队的同学迎来史上最忙碌的年后复工：钉钉依赖的Tair集群进行了数量级的扩容为腾飞的钉三多插上了翅膀；Tair团队云Redis服务为公共云上迅猛增长的在线教育等业务提供了持续的动力。Tair团队也在更多新的领域展示卓越的身影，在存储顶会FAST20上发表了HotRing内存引擎论文；Tair的图模型，TairGDB图数据库也在阿里云商业化上线。以上这些都是Tair团队日常工作的缩影：迎接挑战、...

1.备份到二级数据库从数据的生成和管理角度，企业数据可以分为一级和二级数据两类。其中一级数据是系统直接生成的数据，例如存储在线订单的数据库。二级数据的内容来源于一级数据，可能是一级数据的简单复制（例如订单数据库的一个备份副本），也可能是在一级数据的基础上发生格式或内容的变化（例如基于在线订单数据生成的商业分析数据库）。业界通常认为，从数据量看一级数据仅仅是企业需要维护数据“冰山一角”，Gartner报告...

01概述对于数据库来说，其中俩个核心的模块是：优化器和执行引擎。优化器负责给执行引擎提供输入，它接收来自SQLParser解析好的AST树，然后需要从所有可能的计划中选择代价最优的计划提供给执行引擎。基于代价的优化器本质上是一个复杂的搜索问题，想要解决好这个问题，需要从四个方向入手：1）搜索框架：既然是搜索问题，那么就需要一个搜索框架来承载这个问题。从数据库的发展历程来看，基于Cascades的搜索框架已经成为了业界...

今天为大家带来五号武器云原生多模数据库Lindorm。■一、引言2020双十一顺利落下帷幕，这也是云原生多模数据库Lindorm参与的第九个双十一，其作为阿里经济体的核心数据库产品之一，全面支撑了淘宝、天猫、蚂蚁、菜鸟、阿里妈妈、高德、优酷、钉钉、大文娱等经济体业务的结构化、半结构化数据存储需求，今年更是为申通这样的公有云用户保驾护航。在今年的双十一中，Lindorm整体峰值请求达到了8.8亿次每秒，全天吞吐25万亿次，平...

在我们业务系统中，数据库越来越扮演着举足轻重的角色。和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小的抖动都有可能对业务造成非常大的影响，如何让数据库更稳定，得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化，通常会提到三个层面：1）应用层面优化：应用代码逻辑优化，以更高效的方式处理数据；2）实例层面优化：通过环境参数调整，优化实例的运行效率；3）...

今天为大家介绍的是基于下一代Greenplum数据库的数据安全组件的一个重要组成部分——数据透明加密。数据加密已经成为保证数据库安全必不可少的一项要求。传统Greenplum使用外部的UDF在实现数据加密，在易用性和性能方面都有所欠缺。为了满足客户对于数据加密的易用性和性能方面的要求，Greenplum实现了基于扩展组件模式（内核原生）的透明数据加密。该功能可实现原生用户数据自动加解密，无需修改查询语句且性能损失小。Greenpl...

在智能化管控数据库的探索与实践过程当中，对数据库SQL的诊断根因定位是我们一直以来需要面对的问题，从阿里巴巴集团到阿里云数据库，我们管控的实例数从几万规模扩大到几十万规模，DBA在面对数据库性能问题的时往往需要反复观察性能数据、日志数据、会话信息等，耗费较多的分析时间。大部分难以被发现的故障往往都是在海量慢SQL中的慢SQL，规则式的排序也许可以解决80%的问题，但是总会有边界条件导致故障无法被发现或者定位。...

事件背景回顾根据权威IT媒体报道，2月25日微盟官方发布公告称，2月23日19点，微盟收到系统监控报警，服务出现故障，随后微盟召集相关技术人员进行定位，发现大面积服务集群无法响应，生产环境及数据遭受严重破坏。微盟的业务系统数据库（包括主备）被其公司运维人员删除。目前微盟技术团队正在努力恢复数据，但数据恢复较慢。对新用户服务已经恢复正常，但官方预计老用户数据要到2月28日才有结果……众所周知，“删库跑路”是IT...