鸿蒙开发者社区

前言数据银行是一款品牌消费者运营的商业数据产品，由于其核心分析能力需要在海量数据上实现任意维度自由分析和响应时间上的强需求，我们大规模使用AnalyticDB作为底层的分析引擎，最终以较低的成本，出色的性能，支撑了上万品牌商大促期间每天百万级的OLAP查询。当前数据银行在AnalyticDB中存储了约几十万亿条数据，占用存储空间约1.6P，查询平均响应时间在5秒以内。数据银行业务介绍数据银行作为消费者运营的商业数据产品，提...

背景分布式一致性算法（ConsensusAlgorithm）是一个分布式计算领域的基础性问题，其最基本的功能是为了在多个进程之间对某个（某些）值达成一致（强一致），进而解决分布式系统的可用性（高可用）。Paxos是最重要的分布式一致性算法，很多人都把它作为“分布式一致性协议”的代名词（MikeBurrows,inventoroftheChubbyserviceatGoogle,saysthat“thereisonlyoneconsensusprotocol,andthat’sPaxos”）。回顾Paxos的理论从19...

一、背景介绍根据MarketsandMarkets市场调研显示，预计数据湖市场规模在2024年将从2019年的79亿美金增长到201亿美金。随着数据湖的规模增长，基于交互式查询引擎Presto的数据湖分析负载也随着增加。在共享的Presto集群里，大查询之间非常容易相互影响，在此背景下对查询进行算力隔离也就迫在眉睫。本文主要介绍数据湖分析引擎Presto如何解决多租户算力隔离的技术。二、数据湖分析Presto算力隔离遇到的挑战1、数据湖分析Presto方...

背景ACID事务是关系型数据库一个重要的特性，也是NewSQL数据库最大的挑战之一。在PolarDBX的架构中，DataNode（DN）是通过Paxos同步日志的，保证了事务的持久性（Durability），而原子性（Atomicity）、一致性（Consistency）和隔离性（Isolation）需要通过合适的事务策略来保证。除此之外，在分布式场景下，由于数据被分散在不同节点，线性一致性（linearizability）也是事务策略的重要特性。目前主流的分布式数据库都使用了基...

背景MySQL数据库从诞生以来就以其简单开放、易用、开源为其主打的特点，成为不少开发者首选的数据库系统。阿里在09年开始提出去IOE的口号，也选择基于开源MySQL进行深度发展，结合TDDL的技术完成了去IOE的工作，这也是早期的PolarDBX发展的技术栈。2014年开始，随着业务高速的增长，以及“异地多活”的新需求驱动，基于MySQL的一致性协议技术XPaxos在阿里集团得到了全面的发展和验证，可参见：PolarDBX一致性共识协议(XPaxos)。...

生意参谋介绍·生意参谋是阿里官方打造的全渠道、全链路、一站式数据平台，致力于为用户提供经营分析、市场洞察、客群洞察等多样化数据服务，帮助用户全面提升商业决策效率。自2011年诞生以来，生意参谋服务过的用户已逾3000万，覆盖了线上线下零售商（淘宝天猫）、品牌商（零售通）、智慧门店、内贸批发商（1688）、内容创作者（微淘等）、东南亚国际商家（LAZADA）等多个业态商业用户。目前，淘宝天猫商家中，月有交易的商家...

一、背景AnalyticDBPostgreSQL版（简称ADBPG）是阿里云数据库团队基于PostgreSQL内核（简称PG）打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景，ADBPG都有着独特的技术优势。作为一款企业级数据仓库产品，数据安全的重要性不言而喻。备份恢复功能是保障数据安全的基本手段，也是ADBPG应对突发状况进行数据库恢复的重要保障。备份恢复，顾名思义，是对数据库进行数据备份，以便在必要时...

在过去的几年里，我们观察到，当数据达到一定规模后，PolarDBforMySQL（后文简称PolarDB）的部分用户（包括集团内部用户和公有云上的外部客户）更愿意使用ghostptosc这样的外部工具来进行DDL操作。PolarDB内核团队为用户casebycase地解决了很多DDL使用带来的问题，在处理这些问题的同时，我们也在不断地思考和讨论，云上客户越来越多，中小客户群体不断扩大，我们究竟要如何在内核层面解决DDL日益凸显的繁重弊端，让客户少为DDL...

在日前的2021阿里云金融数据智能峰会《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据《企业如何进行精准决策—云原生数据仓库数据化运营实战分享》的演讲录音及PPT整理而成。一、背景与趋势（一）阿里巴巴15年云计算实践回顾阿里巴巴十...

私有协议是什么？PolarDBX作为阿里巴巴自主研发的云原生分布式数据库，通过将数据拆分到多个基于MySQL发展而来的存储节点DN，每个存储节点DN承担合适的并发、数据存储和计算负载，计算节点处理分布式逻辑，最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统。计算节点和存储节点之间的通信协议，即集群内部通信协议，是系统的重要组成部分。PolarDBX的前身为TDDL中间件，通过在应用端上采用Sharding技术，应对高速...

注：以下分析基于开源v19.15.2.2stable版本进行01引言ClickHouse是最近比较火的一款开源列式存储分析型数据库，它最核心的特点就是极致存储压缩率和查询性能，本人最近正在学习ClickHouse这款产品中。从我个人的视角来看存储是决定一款数据库核心竞争力、适用场景的关键所在，所以接下来我会陆续推出一系列文章来分析ClickHouse中最重要的MergeTree存储内核。本文主旨在于介绍MergeTree的存储格式，并且彻底剖析MergeTree存储的...

分析型数据库(AnalyticDB)是阿里云上的一种高并发低延时的PB级实时数据仓库，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索，向量检索和非结构化数据分析是AnalyticDB的进阶功能。本文通过声纹识别的例子展示如何快速搭建一套端对端的非结构数据搜索服务。01背景近年来，随着人工智能对传统行业的赋能改造，越来越多的基于人工智能的业务解决方案被提出来，声纹识别在保险行业中的身份认证便是一个很好的例子.声纹...

什么是人群圈选随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互联网、游戏、教育等）都有实时精准营销的需求。通过系统生成用户画像，在营销时通过条件组合筛选用户，快速提取目标群体，例如：电商行业中，商家在运营活动前，需要根据活动的目标群体的特征，圈选出一批目标用户进行广告推送或进...

01概述阿里云智能数据库Tair团队主要负责自研分布式键值存储(KVS)系统，几乎涵盖了淘宝、天猫、阿里妈妈、菜鸟、钉钉、优酷、高德等阿里巴巴所有核心业务。十多年来，始终如一为阿里业务提供着高可靠、高性能、低成本的数据存储与访问服务。近日，Tair团队的一篇论文——HotRing:AHotspotAwareInMemoryKeyValueStore被FAST'20ResearchTrack接收(USENIXConferenceonFileandStorageTechniques(FAST)，CCFA类会议，存储领域顶会，2...

众所周知，Redis是一款广受欢迎的内存数据库，广泛应用在多种业务场景中。开源Redis提供了分布式的Redis集群方案，可用于提升内存容量存储和扩展高速性能。集群架构必不可免涉及到数据节点分片的弹性扩缩容、分片间的数据迁移。而Redis社区版集群的数据迁移能力却一直以来是开发者、运维者们多有诟病的地方。社区Redis集群版迁移数据有诸多不足，Tair推出的新一代以Slot复制为原理的无感迁移数据架构，已在阿里云上提供长期稳定...

一、数据湖方案的价值数据湖方案相比较数据库、数据仓库、Hadoop等，数据湖要处理的数据类型更加开放、更加复杂。数据湖主要是对海量的结构化、半结构化、非结构化、二进制数据进行存储，同时还需要对这些数据进行管理和价值挖掘。接下来可以看下云上沉淀的典型数据湖方案：方案一：一站式端到端数据湖存储、管理、分析&计算方案场景：企业在构建数据湖方案时，期望构建完整、通用、可扩展的解决方案，。方案价值：满足数据摄入...

阿里云云原生数据湖分析DLA是阿里云在数据湖领域推出的拳头产品，帮忙用户进行数据湖的构建、对数据湖的进行分析、在统一的元数据基础之上支持双引擎:Presto和Spark，一站式满足用户各种数据分析的需求。DLA基于云原生的理念进行构建、用户不需要感知任何物理机、ECS、手动部署等等，直接使用服务，而且是完全Serverless形态，支持灵活的弹性策略，提供多种计费模型，满足各种不同场景的用户使用需求。在刚刚闭幕的PrestoCon202...

简介：由于解决了用户当前遇到的数据分散、复杂、难管理的问题，数据湖方案越来越深入人心，阿里云DLA产品提供了一体化解决方案，从数据湖管理到数据湖分析和计算。相对于在线引擎，Spark更适合弹性计算架构，可以跟云原生的弹性能力深度整合起来。从传统IDC到搬站上云到完全Serverless化，这条路径已经被越来越被认可为云技术的发展路径。DLASpark采用完全云原生+Serverless形式，相对于传统的自建Hadoop在性价比方面拥有数倍...

背景介绍声纹检索，顾名思义就是说话人识别，通过声音来验证或者识别说话人的声音。声纹识别的关键步骤就是声音向量化，将说话人的声音将其转化成结构化的向量。阿里云AnalyticDB向量版，提供了一套声纹验证检索的解决方案。用户只需要使用简单的几条SQL命令，三步之内就可以搭建一套高精度的声纹检索验证服务。2声纹识别技技术1）声纹检索演示图1展示了AnalyticDB向量数据库的声纹检索系统的演示界面。为了方便用户体验，我们...

作为最为流行的开源数据库，MYSQL正成为越来越多企业的选择。MySQL数据库大量应用在各种业务系统，除了在线业务逻辑的读写，还会有一些额外的数据分析需求，如BI报表、可视化大屏、大数据应用等。但受限于MySQL架构等问题，在面对数据分析场景时，其往往力不从心。针对这种情况，业内有很多种解决方案。这里特推荐一种新的方式—数据湖分析，在面对低成本场景时是个不错的选择。在展开正式内容之前，对数据湖这个还较为陌生的概...