鸿蒙开发者社区

数据库的用户对数据库都有一个很简单的要求：“我能不能随时随地做DDL，不要让我守到半夜再搞了。”为了这个目标，各种各样的数据库采用了不同的方法来优化DDL这件事，MySQL也从5.6开始逐渐支持“OnlineDDL”。但问题是，为何已经到了MySQL8.0的时代，你能看到的各种MySQL最佳实践\开发规范里，依然建议把DDL放在业务低峰期来做呢。PolarDBX对此作了很多优化，期望让用户做DDL的时候能更任性。我们得先看一下，MySQL的DDL，为什...

PolarDBX2.0（以下简称PolarDBX）与DRDS（DRDS也称为PolarDBX1.0）都是阿里云上的分布式数据库产品。看起来她们都是ShareNothing的架构，用水平扩展来解决单机数据库瓶颈问题。很多同学因此会有疑惑，她们俩到底有什么样的区别？DRDS，其本质是搭建在标准MySQL（阿里云上的RDSForMySQL）上的分库分表中间件，具有很高的灵活性。PolarDBX是使用云原生技术的分布式数据库，具有一体化的数据库体验，其存储节点是经过了高度定制的M...

Go语言，又称Golang，是一门由Google开发的开源编程语言。Go语言自2009年推出后，因为其简单易学、性能强劲的特点，深受开发者的青睐，使用人数持续增长，还在2016年被评为「TIOBE最佳语言」。在中国谈到Go语言，总有一个名字绕不开：Asta谢孟军，他是Go语言中国首席布道师，Go基金会主席，GopherChina社区创始人，参与了各种Go开源项目的开发，文档等工作，著有开源框架Beego和《GoWeb编程》。除此之外，谢孟军还有另外一个身...

《Greenplum走进全国》系列技术研讨会在告别西安后，于7月3日，携原厂、社区和合作伙伴的讲师们走进山东济南。活动中，我们与当地的Greenplumer进行了深入的交流，并带来了四个精彩主题演讲。为了能让更多社区的小伙伴学习相关内容，我们将陆续把主题演讲整理成文章，欢迎关注！今天和大家分享的主题是《基于fdw的跨Greenplum集群数据库查询实现》。其实这个标题并不100%精确，今天分享的内容并不只局限于跨集群的查询，还适用...

背景数据湖当前在国内外是比较热的方案，MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案，有效解决了业务痛点；还有很多企业在构建或者计划构建自己的数据湖，Gartner2020年发布的报告显示目前已经有39%的用户在使用数据湖，34%的用户考虑在1年内使用数据湖。随着对象存储等云原生存储技术的成熟，一开始大家会先把结构化、半结构化...

一、背景介绍根据MarketsandMarkets市场调研显示，预计数据湖市场规模在2024年将从2019年的79亿美金增长到201亿美金。随着数据湖的规模增长，基于交互式查询引擎Presto的数据湖分析负载也随着增加。在共享的Presto集群里，大查询之间非常容易相互影响，在此背景下对查询进行算力隔离也就迫在眉睫。本文主要介绍数据湖分析引擎Presto如何解决多租户算力隔离的技术。二、数据湖分析Presto算力隔离遇到的挑战1、数据湖分析Presto方...

今天，阿里云数据库事业部总裁李飞飞和阿里云数据库事业部资深产品专家周振兴，重磅发布了PolarDB产品家族的全新特性。为了答谢所有的用户及合作伙伴，PolarDB推出跨年优惠独享，并奉上PolarDBX产品技术的独家解读！我们或许都玩过JointheDots这个游戏，一张纸上随机的画了很多点，每个点旁边标了一个数字，沿着这些数字从小到大将这些点连接起来，带着期待，我们发现了这些点构成的神奇图案。对了，这个游戏还有另外一个名字：...

引言如何对时空数据库中的亿级矢量空间数据进行在线可视化一直是业界难题。因数据体量大，传统方法需要将数据库中数据进行基于缓存切片的服务发布才能可视化，操作流程冗长，且有一大堆需要考虑的问题：如果对矢量数据进行预切片，数据要切多久？切多少级合适？存储瓦片的硬盘空间够用吗？如果使用实时瓦片，实时渲染瓦片的响应时间能保证吗？如果使用矢量瓦片，小比例尺的瓦片可能会有多大体积？传输会不会成为瓶颈？前端渲染...

业务介绍AliExpress（简称AE）是从集团内wholesale孵化出来面向全球消费者的B2C电商平台，目前也是全球化电商业务的排头兵。当前AE为全球220+个国家提供在线购物服务，支持3端（PC、Msite和APP）、18+种语言，有5个独立分站（印尼、俄罗斯、巴西、西班牙、法国）和2个本地站（西班牙Plaza和俄罗斯Tmall）为当地提供更精细化的服务。业务挑战营销是电商业务的核心场景，本质是解决人货场的匹配问题。而大数据时代，传统的小二人...

一、前言随着IT基础设施的发展，现代的数据处理系统需要处理更多的数据、支持更为复杂的算法。数据量的增长和算法的复杂化，为数据分析系统带来了严峻的性能挑战。近年来，我们可以在数据库、大数据系统和AI平台等领域看到很多性能优化的技术，技术涵盖体系结构、编译技术和高性能计算等领域。作为编译优化技术的代表，本文主要介绍基于LLVM的代码生成技术（简称Codeden）。LLVM是一款非常流行的开源编译器框架，支持多种语言和...

Clickhouse是俄罗斯搜索巨头Yandex开发的完全列式存储计算的分析型数据库。ClickHouse在这两年的OLAP领域中一直非常热门，国内互联网大厂都有大规模使用。Elasticsearch是一个近实时的分布式搜索分析引擎，它的底层存储完全构建在Lucene之上。简单来说是通过扩展Lucene的单机搜索能力，使其具有分布式的搜索和分析能力。Elasticsearch通常会和其它两个开源组件Logstash（日志采集）和Kibana（仪表盘）一起提供端到端的日志搜索...

在过去的几年里，我们观察到，当数据达到一定规模后，PolarDBforMySQL（后文简称PolarDB）的部分用户（包括集团内部用户和公有云上的外部客户）更愿意使用ghostptosc这样的外部工具来进行DDL操作。PolarDB内核团队为用户casebycase地解决了很多DDL使用带来的问题，在处理这些问题的同时，我们也在不断地思考和讨论，云上客户越来越多，中小客户群体不断扩大，我们究竟要如何在内核层面解决DDL日益凸显的繁重弊端，让客户少为DDL...

背景ACID事务是关系型数据库一个重要的特性，也是NewSQL数据库最大的挑战之一。在PolarDBX的架构中，DataNode（DN）是通过Paxos同步日志的，保证了事务的持久性（Durability），而原子性（Atomicity）、一致性（Consistency）和隔离性（Isolation）需要通过合适的事务策略来保证。除此之外，在分布式场景下，由于数据被分散在不同节点，线性一致性（linearizability）也是事务策略的重要特性。目前主流的分布式数据库都使用了基...

背景MySQL数据库从诞生以来就以其简单开放、易用、开源为其主打的特点，成为不少开发者首选的数据库系统。阿里在09年开始提出去IOE的口号，也选择基于开源MySQL进行深度发展，结合TDDL的技术完成了去IOE的工作，这也是早期的PolarDBX发展的技术栈。2014年开始，随着业务高速的增长，以及“异地多活”的新需求驱动，基于MySQL的一致性协议技术XPaxos在阿里集团得到了全面的发展和验证，可参见：PolarDBX一致性共识协议(XPaxos)。...

概述2020年黑天鹅事件不断出现，疫情给人们的生活也带来了改变。在后疫情时代，伴随着云原生技术的发展，企业寻求更加敏捷、更加灵活的数据分析方案，数据湖刚好满足这核心诉求。有不少同学问笔者，Hadoop与数据湖有啥区别？笔者认为，其一：数据湖分析支持的数据格式包括非结构化与半结构化。虽然HDFS可以存图片，但是一般还是有视频&图片的专门服务器，原因存储计算不分离情况下，大数据硬件存图片不经济；其二：数据湖往往跟...

一、背景AnalyticDBPostgreSQL版（简称ADBPG）是阿里云数据库团队基于PostgreSQL内核（简称PG）打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势。作为一款企业级数据仓库产品，数据安全的重要性不言而喻。备份恢复功能是保障数据安全的基本手段，也是ADBPG应对突发状况进行数据库恢复的重要保障。备份恢复，顾名思义，是对数据库进行数据备份，以便在必要时...

前言数据银行是一款品牌消费者运营的商业数据产品，由于其核心分析能力需要在海量数据上实现任意维度自由分析和响应时间上的强需求，我们大规模使用AnalyticDB作为底层的分析引擎，最终以较低的成本，出色的性能，支撑了上万品牌商大促期间每天百万级的OLAP查询。当前数据银行在AnalyticDB中存储了约几十万亿条数据，占用存储空间约1.6P，查询平均响应时间在5秒以内。数据银行业务介绍数据银行作为消费者运营的商业数据产品，提...

预计算和缓存是计算机领域提高性能以及降低成本的最常见的手段之一。对于那些经常重复的请求，如果可以通过缓存回答，比重新计算结果或从速度较慢的数据存储中读取要快得多，消耗更少的系统资源。在数据库领域中，物化视图是预计算和缓存的自然体现。本文主要介绍什么是物化视图，以及如何实现基于物化视图的查询改写。在第一部分，我们会简单介绍物化视图，并介绍基于物化视图的查询改写的用途。在第二部分，我们将介绍查询优...

在日前的2021阿里云金融数据智能峰会《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据《企业如何进行精准决策—云原生数据仓库数据化运营实战分享》的演讲录音及PPT整理而成。一、背景与趋势（一）阿里巴巴15年云计算实践回顾阿里巴巴十...

生意参谋介绍·生意参谋是阿里官方打造的全渠道、全链路、一站式数据平台，致力于为用户提供经营分析、市场洞察、客群洞察等多样化数据服务，帮助用户全面提升商业决策效率。自2011年诞生以来，生意参谋服务过的用户已逾3000万，覆盖了线上线下零售商（淘宝天猫）、品牌商（零售通）、智慧门店、内贸批发商（1688）、内容创作者（微淘等）、东南亚国际商家（LAZADA）等多个业态商业用户。目前，淘宝天猫商家中，月有交易的商家...