鸿蒙开发者社区

引言ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内各个大厂纷纷跟进大规模使用：今日头条内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。腾讯内部用ClickHouse做游戏数据分析，并且为之建立了一整套监控运维体系。携程内部从18年7月份开始接入试用，目前80%的业务都跑在ClickHouse上。每天数据增量十多...

一、前言随着IT基础设施的发展，现代的数据处理系统需要处理更多的数据、支持更为复杂的算法。数据量的增长和算法的复杂化，为数据分析系统带来了严峻的性能挑战。近年来，我们可以在数据库、大数据系统和AI平台等领域看到很多性能优化的技术，技术涵盖体系结构、编译技术和高性能计算等领域。作为编译优化技术的代表，本文主要介绍基于LLVM的代码生成技术（简称Codeden）。LLVM是一款非常流行的开源编译器框架，支持多种语言和...

背景数据湖当前在国内外是比较热的方案，MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案，有效解决了业务痛点；还有很多企业在构建或者计划构建自己的数据湖，Gartner2020年发布的报告显示目前已经有39%的用户在使用数据湖，34%的用户考虑在1年内使用数据湖。随着对象存储等云原生存储技术的成熟，一开始大家会先把结构化、半结构化...

预计算和缓存是计算机领域提高性能以及降低成本的最常见的手段之一。对于那些经常重复的请求，如果可以通过缓存回答，比重新计算结果或从速度较慢的数据存储中读取要快得多，消耗更少的系统资源。在数据库领域中，物化视图是预计算和缓存的自然体现。本文主要介绍什么是物化视图，以及如何实现基于物化视图的查询改写。在第一部分，我们会简单介绍物化视图，并介绍基于物化视图的查询改写的用途。在第二部分，我们将介绍查询优...

引言如何对时空数据库中的亿级矢量空间数据进行在线可视化一直是业界难题。因数据体量大，传统方法需要将数据库中数据进行基于缓存切片的服务发布才能可视化，操作流程冗长，且有一大堆需要考虑的问题：如果对矢量数据进行预切片，数据要切多久？切多少级合适？存储瓦片的硬盘空间够用吗？如果使用实时瓦片，实时渲染瓦片的响应时间能保证吗？如果使用矢量瓦片，小比例尺的瓦片可能会有多大体积？传输会不会成为瓶颈？前端渲染...

业务介绍AliExpress（简称AE）是从集团内wholesale孵化出来面向全球消费者的B2C电商平台，目前也是全球化电商业务的排头兵。当前AE为全球220+个国家提供在线购物服务，支持3端（PC、Msite和APP）、18+种语言，有5个独立分站（印尼、俄罗斯、巴西、西班牙、法国）和2个本地站（西班牙Plaza和俄罗斯Tmall）为当地提供更精细化的服务。业务挑战营销是电商业务的核心场景，本质是解决人货场的匹配问题。而大数据时代，传统的小二人...

概述2020年黑天鹅事件不断出现，疫情给人们的生活也带来了改变。在后疫情时代，伴随着云原生技术的发展，企业寻求更加敏捷、更加灵活的数据分析方案，数据湖刚好满足这核心诉求。有不少同学问笔者，Hadoop与数据湖有啥区别？笔者认为，其一：数据湖分析支持的数据格式包括非结构化与半结构化。虽然HDFS可以存图片，但是一般还是有视频&图片的专门服务器，原因存储计算不分离情况下，大数据硬件存图片不经济；其二：数据湖往往跟...

今天，阿里云数据库事业部总裁李飞飞和阿里云数据库事业部资深产品专家周振兴，重磅发布了PolarDB产品家族的全新特性。为了答谢所有的用户及合作伙伴，PolarDB推出跨年优惠独享，并奉上PolarDBX产品技术的独家解读！我们或许都玩过JointheDots这个游戏，一张纸上随机的画了很多点，每个点旁边标了一个数字，沿着这些数字从小到大将这些点连接起来，带着期待，我们发现了这些点构成的神奇图案。对了，这个游戏还有另外一个名字：...

背景ACID事务是关系型数据库一个重要的特性，也是NewSQL数据库最大的挑战之一。PolarDBX是一款基于云架构理念，并同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP）的融合型分布式数据库产品。因此，对PolarDBX来说，支持分布式ACID事务是必须的。事务ACID概念数据库英文为DataBase，是由Data+Base两个单词组成，可以理解为存放数据的仓库，最早数据库的诞生也是为解决数据的记账问题，要...

背景分布式一致性算法（ConsensusAlgorithm）是一个分布式计算领域的基础性问题，其最基本的功能是为了在多个进程之间对某个（某些）值达成一致（强一致），进而解决分布式系统的可用性（高可用）。Paxos是最重要的分布式一致性算法，很多人都把它作为“分布式一致性协议”的代名词（MikeBurrows,inventoroftheChubbyserviceatGoogle,saysthat“thereisonlyoneconsensusprotocol,andthat’sPaxos”）。回顾Paxos的理论从19...

背景ACID事务是关系型数据库一个重要的特性，也是NewSQL数据库最大的挑战之一。在PolarDBX的架构中，DataNode（DN）是通过Paxos同步日志的，保证了事务的持久性（Durability），而原子性（Atomicity）、一致性（Consistency）和隔离性（Isolation）需要通过合适的事务策略来保证。除此之外，在分布式场景下，由于数据被分散在不同节点，线性一致性（linearizability）也是事务策略的重要特性。目前主流的分布式数据库都使用了基...

一、背景介绍根据MarketsandMarkets市场调研显示，预计数据湖市场规模在2024年将从2019年的79亿美金增长到201亿美金。随着数据湖的规模增长，基于交互式查询引擎Presto的数据湖分析负载也随着增加。在共享的Presto集群里，大查询之间非常容易相互影响，在此背景下对查询进行算力隔离也就迫在眉睫。本文主要介绍数据湖分析引擎Presto如何解决多租户算力隔离的技术。二、数据湖分析Presto算力隔离遇到的挑战1、数据湖分析Presto方...

前言数据银行是一款品牌消费者运营的商业数据产品，由于其核心分析能力需要在海量数据上实现任意维度自由分析和响应时间上的强需求，我们大规模使用AnalyticDB作为底层的分析引擎，最终以较低的成本，出色的性能，支撑了上万品牌商大促期间每天百万级的OLAP查询。当前数据银行在AnalyticDB中存储了约几十万亿条数据，占用存储空间约1.6P，查询平均响应时间在5秒以内。数据银行业务介绍数据银行作为消费者运营的商业数据产品，提...

背景MySQL数据库从诞生以来就以其简单开放、易用、开源为其主打的特点，成为不少开发者首选的数据库系统。阿里在09年开始提出去IOE的口号，也选择基于开源MySQL进行深度发展，结合TDDL的技术完成了去IOE的工作，这也是早期的PolarDBX发展的技术栈。2014年开始，随着业务高速的增长，以及“异地多活”的新需求驱动，基于MySQL的一致性协议技术XPaxos在阿里集团得到了全面的发展和验证，可参见：PolarDBX一致性共识协议(XPaxos)。...

在日前的2021阿里云金融数据智能峰会《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据《企业如何进行精准决策—云原生数据仓库数据化运营实战分享》的演讲录音及PPT整理而成。一、背景与趋势（一）阿里巴巴15年云计算实践回顾阿里巴巴十...

生意参谋介绍·生意参谋是阿里官方打造的全渠道、全链路、一站式数据平台，致力于为用户提供经营分析、市场洞察、客群洞察等多样化数据服务，帮助用户全面提升商业决策效率。自2011年诞生以来，生意参谋服务过的用户已逾3000万，覆盖了线上线下零售商（淘宝天猫）、品牌商（零售通）、智慧门店、内贸批发商（1688）、内容创作者（微淘等）、东南亚国际商家（LAZADA）等多个业态商业用户。目前，淘宝天猫商家中，月有交易的商家...

一、背景AnalyticDBPostgreSQL版（简称ADBPG）是阿里云数据库团队基于PostgreSQL内核（简称PG）打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势。作为一款企业级数据仓库产品，数据安全的重要性不言而喻。备份恢复功能是保障数据安全的基本手段，也是ADBPG应对突发状况进行数据库恢复的重要保障。备份恢复，顾名思义，是对数据库进行数据备份，以便在必要时...

在过去的几年里，我们观察到，当数据达到一定规模后，PolarDBforMySQL（后文简称PolarDB）的部分用户（包括集团内部用户和公有云上的外部客户）更愿意使用ghostptosc这样的外部工具来进行DDL操作。PolarDB内核团队为用户casebycase地解决了很多DDL使用带来的问题，在处理这些问题的同时，我们也在不断地思考和讨论，云上客户越来越多，中小客户群体不断扩大，我们究竟要如何在内核层面解决DDL日益凸显的繁重弊端，让客户少为DDL...

私有协议是什么？PolarDBX作为阿里巴巴自主研发的云原生分布式数据库，通过将数据拆分到多个基于MySQL发展而来的存储节点DN，每个存储节点DN承担合适的并发、数据存储和计算负载，计算节点处理分布式逻辑，最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统。计算节点和存储节点之间的通信协议，即集群内部通信协议，是系统的重要组成部分。PolarDBX的前身为TDDL中间件，通过在应用端上采用Sharding技术，应对高速...

注：以下分析基于开源v19.15.2.2stable版本进行01引言ClickHouse是最近比较火的一款开源列式存储分析型数据库，它最核心的特点就是极致存储压缩率和查询性能，本人最近正在学习ClickHouse这款产品中。从我个人的视角来看存储是决定一款数据库核心竞争力、适用场景的关键所在，所以接下来我会陆续推出一系列文章来分析ClickHouse中最重要的MergeTree存储内核。本文主旨在于介绍MergeTree的存储格式，并且彻底剖析MergeTree存储的...