鸿蒙开发者社区

注：以下分析基于开源v19.15.2.2stable版本进行01引言ClickHouse是最近比较火的一款开源列式存储分析型数据库，它最核心的特点就是极致存储压缩率和查询性能，本人最近正在学习ClickHouse这款产品中。从我个人的视角来看存储是决定一款数据库核心竞争力、适用场景的关键所在，所以接下来我会陆续推出一系列文章来分析ClickHouse中最重要的MergeTree存储内核。本文主旨在于介绍MergeTree的存储格式，并且彻底剖析MergeTree存储的...

什么是人群圈选随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互联网、游戏、教育等）都有实时精准营销的需求。通过系统生成用户画像，在营销时通过条件组合筛选用户，快速提取目标群体，例如：电商行业中，商家在运营活动前，需要根据活动的目标群体的特征，圈选出一批目标用户进行广告推送或进...

分析型数据库(AnalyticDB)是阿里云上的一种高并发低延时的PB级实时数据仓库，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索，向量检索和非结构化数据分析是AnalyticDB的进阶功能。本文通过声纹识别的例子展示如何快速搭建一套端对端的非结构数据搜索服务。01背景近年来，随着人工智能对传统行业的赋能改造，越来越多的基于人工智能的业务解决方案被提出来，声纹识别在保险行业中的身份认证便是一个很好的例子.声纹...

作为最为流行的开源数据库，MYSQL正成为越来越多企业的选择。MySQL数据库大量应用在各种业务系统，除了在线业务逻辑的读写，还会有一些额外的数据分析需求，如BI报表、可视化大屏、大数据应用等。但受限于MySQL架构等问题，在面对数据分析场景时，其往往力不从心。针对这种情况，业内有很多种解决方案。这里特推荐一种新的方式—数据湖分析，在面对低成本场景时是个不错的选择。在展开正式内容之前，对数据湖这个还较为陌生的概...

众所周知，Redis是一款广受欢迎的内存数据库，广泛应用在多种业务场景中。开源Redis提供了分布式的Redis集群方案，可用于提升内存容量存储和扩展高速性能。集群架构必不可免涉及到数据节点分片的弹性扩缩容、分片间的数据迁移。而Redis社区版集群的数据迁移能力却一直以来是开发者、运维者们多有诟病的地方。社区Redis集群版迁移数据有诸多不足，Tair推出的新一代以Slot复制为原理的无感迁移数据架构，已在阿里云上提供长期稳定...

一、数据湖方案的价值数据湖方案相比较数据库、数据仓库、Hadoop等，数据湖要处理的数据类型更加开放、更加复杂。数据湖主要是对海量的结构化、半结构化、非结构化、二进制数据进行存储，同时还需要对这些数据进行管理和价值挖掘。接下来可以看下云上沉淀的典型数据湖方案：方案一：一站式端到端数据湖存储、管理、分析&计算方案场景：企业在构建数据湖方案时，期望构建完整、通用、可扩展的解决方案，。方案价值：满足数据摄入...

01概述阿里云智能数据库Tair团队主要负责自研分布式键值存储(KVS)系统，几乎涵盖了淘宝、天猫、阿里妈妈、菜鸟、钉钉、优酷、高德等阿里巴巴所有核心业务。十多年来，始终如一为阿里业务提供着高可靠、高性能、低成本的数据存储与访问服务。近日，Tair团队的一篇论文——HotRing:AHotspotAwareInMemoryKeyValueStore被FAST'20ResearchTrack接收(USENIXConferenceonFileandStorageTechniques(FAST)，CCFA类会议，存储领域顶会，2...

阿里云云原生数据湖分析DLA是阿里云在数据湖领域推出的拳头产品，帮忙用户进行数据湖的构建、对数据湖的进行分析、在统一的元数据基础之上支持双引擎:Presto和Spark，一站式满足用户各种数据分析的需求。DLA基于云原生的理念进行构建、用户不需要感知任何物理机、ECS、手动部署等等，直接使用服务，而且是完全Serverless形态，支持灵活的弹性策略，提供多种计费模型，满足各种不同场景的用户使用需求。在刚刚闭幕的PrestoCon202...

背景介绍声纹检索，顾名思义就是说话人识别，通过声音来验证或者识别说话人的声音。声纹识别的关键步骤就是声音向量化，将说话人的声音将其转化成结构化的向量。阿里云AnalyticDB向量版，提供了一套声纹验证检索的解决方案。用户只需要使用简单的几条SQL命令，三步之内就可以搭建一套高精度的声纹检索验证服务。2声纹识别技技术1）声纹检索演示图1展示了AnalyticDB向量数据库的声纹检索系统的演示界面。为了方便用户体验，我们...

简介：由于解决了用户当前遇到的数据分散、复杂、难管理的问题，数据湖方案越来越深入人心，阿里云DLA产品提供了一体化解决方案，从数据湖管理到数据湖分析和计算。相对于在线引擎，Spark更适合弹性计算架构，可以跟云原生的弹性能力深度整合起来。从传统IDC到搬站上云到完全Serverless化，这条路径已经被越来越被认可为云技术的发展路径。DLASpark采用完全云原生+Serverless形式，相对于传统的自建Hadoop在性价比方面拥有数倍...

1.前言2020双十一顺利落下帷幕，Tair表现一如既往地稳定。承载双11核心链路实时在线的超大流量，吞吐量再创新高，峰值访问量每秒15亿次。全球分布式数据库产品形态，多活数据同步量高达1亿OPS秒，为业务提供了异地多活架构的数据能力。在安全风控等业务中，首次将数据模型和sketches运算下沉至Tair。应用服务节省50%机器资源，数据处理吞吐能力提升100%，读写RT下降30%，在降低业务成本的同时，大幅提升风控时效和效果。Tair与...

引言每年一度的双11购物狂欢节，数据库自治服务DAS以持续的创新为之保驾护航，同时也在延续它一次次华美的蜕变。从最初面向DBA的工具化辅助诊断，到2017年SelfdrivingPlatform理念提出，开始孵化和锤炼数据库自治能力，2018年DAS自治能力逐步覆盖集团全网数据库实例，如自动SQL优化、自动空间、自动异常修复等，2019年11月，为更好服务客户，混合云数据库管理HDM+CloudDBA+自治能力，正式升级为数据库自治服务DAS，将锻炼出来的...

今年双十一快递有多快、双十一快递比外卖还快这些话题在今年双十一期间频繁出现在热搜榜上，“凌晨付款起床收货”成了今年双十一快递时效的新标签。作为天猫官方物流服务提供方，今年菜鸟联合14家快递公司为消费者提供了如任意门般的天猫双十一物流体验。而在这背后，正是阿里云云原生数据仓库AnalyticDBMySQL为菜鸟运配的运营决策提供了强有力的数据支撑，使包裹能够通过更优更快的线路到达消费者手中。菜鸟运配双十一面临的挑...

前言每年双十一购物狂欢节都是云原生数据仓库AnalyticDBMySQL版（原分析型数据库MySQL版）的一块试金石。今年AnalyticDB除了在阿里数字经济体内进入更多核心交易链路，全力支撑双十一以外，AnalyticDB全面拥抱云原生，构建极致弹性，大幅降低成本，释放技术红利，重磅发布了诸多全新企业级特性，让用户及时拥有极高性价比的云原生数据仓库。云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB是一种支持高并发低延时查询的新一...

7月23日，阿里云全新升级新一代云原生数据仓库AnalyticDB，达摩院数据库首席科学家李飞飞重磅发布了“万仓计划”，助力每个企业拥有属于自己的云原生数据仓库。数字经济时代，越来越多的企业通过数据驱动业务增长、流程优化及更多的业务创新。当前企业数据朝着海量、实时化、多样化的趋势演进，对企业数据仓库也提出了新的挑战与演进诉求。同时，数据正在发生质的变化，数据爆炸性增长，实时数据比例大幅增长，数据库在云上比例...

1.背景介绍大数据时代早期，ApacheHadoop是构建具有海量存储能力数据仓库的首选方案，许多企业用户采用在云上购买ECS，自建Hadoop集群来存储和处理数据。ApacheSpark作为一个内存计算框架，具有流处理、批处理，图计算，机器学习，SQL查询等多种能力，社区活跃度高，并且Spark天然支持Hadoop数据源，可以完美的融入Hadoop生态，提供高效的计算能力。Hadoop+Spark成为大数据领域的明星，被广泛用于离线大数据的挖掘。云上的Hadoo...

一.背景随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。IDC发布的十项2021年中国云计算市场趋势预测中，有三项和数据湖分析有关。可以预见，跨系统集成能力、数据控制能力和更加全面的数据驱动能力，将会是未来数据分析系统重要的竞争领域。AnalyticDBPostgreSQL版（简称ADBP...

简介：Presto作为OLAP界领先的分析引擎在国内外有着广泛的应用，各个公司要么在自己的机房自建Presto，要么在云上使用ECS自建Presto来使用，但是开源的Presto在用户学习成本、数据摄入、生态兼容性、高可用、对云上数据的支持度方面还是有一些薄弱。因此阿里云数据湖分析团队打造了一个DLASQL(兼容Presto)CU版本，今天给大家介绍一下它的一些特性。一、背景介绍1.1什么样的客户需要数据湖在数据处理领域，数据湖相对来说是一个...

1.快速失败（fail—fast）在用迭代器遍历一个集合对象时，如果遍历过程中对集合对象的内容进行了修改（增加、删除、修改），则会抛出ConcurrentModificationException。原理：迭代器在遍历时直接访问集合中的内容，并且在遍历过程中使用一个modCount变量。集合在被遍历期间如果内容发生变化，就会改变modCount的值。每当迭代器使用hashNext()next()遍历下一个元素之前，都会检测modCount变量是否为expectedModCount值，是的话就...

下载gradle5.4.1all.zip方法①在项目右键FindinPath输入gradle5.4.1all.zip方法②下载gradle5.4.1all.zip解压至不要含有中文名称的目录比如我解压后的路径是D:\HAP\gradle\gradle5.4.1all\gradle5.4.1FileSettingsBuild,Execution,DeploymentGradle最后最后建议重置刷新重启DevEcoStudio