鸿蒙开发者社区

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）Druid的数据模型本文主要讨论对来自其他类型数据库系统的用户的提示，以及常规提示和通用做法。Druid数据存储在datasources，datasource类似于传统RDBMS中的table。Druid在向数据源摄取数据时，可以选择rollup，也可以不rollup。启用rollup功能后，Druid会在摄取期间部分聚合数据，从而有可能减少数据行数，减少存储空间并提高查询性能...

作者知不足而行来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）数据库系统设计概述世界上只有两种开发人员，一种使用数据库系统的，一种开发数据库系统的。数据是系统最重要的信息。大部分系统都是对数据的管理。应用系统通过数据模型来构建现实世界，通过算法操作对象或数据结构，来改变数据模型的状态。数据被组织在操作系统文件中，我们通过数据系统来组织，查询，搜索，处理数据。本文将从数据库的发...

1.基础概念Rally最初于2016年发布，直到2018年7月才发布1.0版本，Rally工具是Elasticsearch开发团队用来运行夜间基准测试的工具。Rally的美妙之处在于它不仅可以充当负载生成器，还可以为构建、设置Elasticsearch集群，从而帮助我们进行性能测试。我们可以使用Rally对现有的Elasticsearch集群进行基准测试、管理基准配置、运行和比较结果，并使用指标和报错（例如JIT、GC、perf）发现潜在的性能问题。Rally并发默认是配置多进程...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）Kafka是一个优秀的分布式消息中间件，许多系统中都会使用到Kafka来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的Kafka面试题入手，和大家聊聊Kafka的那些事儿。思维导图讲一讲分布式消息中间件问题什么是分布式消息中间件消息中间件的作用是什么消息中间件的使用场景是什么消...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）学习一个技术，通常只接触了零散的技术点，没有在脑海里建立一个完整的知识框架和架构体系，没有系统观。这样会很吃力，而且会出现一看好像自己会，过后就忘记，一脸懵逼。跟着「码哥字节」一起吃透Redis，深层次的掌握Redis核心原理以及实战技巧。一起搭建一套完整的知识框架，学会全局观去整理整个知识体系。系统观其实是至关重要的...

1、引言本系列文章介绍如何修复Elasticsearch集群的常见错误和问题。这是系列文章的第四篇，主要探讨：ElasticsearchJVM堆内存使用率飙升，怎么办？第一篇：Elasticsearch磁盘使用率超过警戒水位线，怎么办？第二篇：ElasitcsearchCPU使用率突然飙升，怎么办？第三篇：Elasticsearch断路器报错，怎么办？2、症状：高JVM内存使用率高JVM内存使用率会降低集群性能并触发断路器错误（导致内存熔断）。为了防止这种情况发生，如果节...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）我们通常将Redis作为缓存使用，提高读取响应性能，一旦Redis宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到MySQL可能会带来更加严重的问题。另外慢慢的从数据库读取放到Redis性能必然比不过从Redis获取快，也会导致响应变慢。Redis为了实现无畏宕机快速恢复，设计了两大杀手锏，分别是AOF(AppendOnlyFIle)日志和RDB...

上截图是阿里云魏子珺大佬（阿里巴巴集团技术专家）周一叮嘱我的。魏子珺大佬的早期分享参考：2021年Elasticsearch生态和技术峰会干货总结1、啥API这么重要，阿里大佬要亲自叮嘱？用途：•第一：支持统计索引自身的磁盘使用。•第二：支持统计每个字段级别的磁盘使用。2、diskusageAPI适用场景是啥？此API不支持在以前的Elasticsearch版本中创建的索引。适用于大索引。PS：小索引的结果可能不准确，因为API可能无法分析...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）在《Redis核心篇：唯快不破的秘密》中，「码哥」揭秘了Redis五大数据类型底层的数据结构、IO模型、线程模型、渐进式rehash掌握了Redis快的本质原因。接着，在《Redis日志篇：无畏宕机与快速恢复的杀手锏》中揭晓了当Redis发生宕机可以通过重新读取RDB快照和执行AOF日志实现快速恢复的高可用手段。高可用有两个含义：一是数据尽量不丢失...

1、引言本系列文章介绍如何修复Elasticsearch集群的常见错误和问题。这是系列文章的第五篇，主要探讨：Elasticsearch出现“429reject报错"，怎么办？第一篇：Elasticsearch磁盘使用率超过警戒水位线，怎么办？第二篇：ElasitcsearchCPU使用率突然飙升，怎么办？第三篇：Elasticsearch断路器报错，怎么办？第四篇：ElasticsearchJVM堆内存使用率飙升，怎么办？2、常见的“429拒绝请求”错误线上报错描述：问题1：“我们目前节点...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）『码哥』的Redis系列文章有一篇讲透了Redis的性能优化——《Redis核心篇：唯快不破的秘密》。深入地从IO、线程、数据结构、编码等方面剖析了Redis“快”的内部秘密。65哥深受启发，在学习Kafka的过程中，发现Kafka也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲Kafka性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作...

一背景和架构我们都知道，利用编写程序来动态实现我们应用所需要的逻辑，从而程序执行时得到我们需要的结果。那么数据库就是一种通过输入SQL字符串来快速获取数据的应用。当然，假设没有数据库这种系统应用，用程序如何实现呢？我们可能会发现，即使不管数据如何存储、数据是否并发访问，仍然需要不断通过修改程序处理不同应用对数据的不同请求。比如大数据领域，我们通常通过非关系型数据库的API，实现对数据的获取。然而这种...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）概要我们知道「主从复制是高可用的基石」，从库宕机依然可以将请求发送给主库或者其他从库，但是Master宕机，只能响应读操作，写请求无法再执行。所以主从复制架构面临一个严峻问题，主库挂了，无法执行「写操作」，无法自动选择一个Slave切换为Master，也就是无法故障自动切换。深夜与女朋友么么哒……(此处省略10000字)，突然宕机，...

引言：随着非易失内存产品的商业化推广，我们对于其在云原生数据库中大规模推广的潜力越来越有兴趣。XEngine是阿里云数据库产品事业部PolarDB新型存储引擎团队研发的一个LSMtree存储引擎，目前在阿里云PolarDB产品上提供对外服务。我们以XEngine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了...

1、实战线上Nested问题2、数据模型索引导入和样例数据批量写入如下所示。开搞，方案逐步展开讨论。3、问题拆解涉及三个核心知识点：•其一：检索数据涉及Nested类型。•其二：检索条件1：objectList（Nested类型）下的lossStatus"ENABLE"。这个在检索的时候要注意指定path，否则会报错。•其三：检索条件2：获取objectList的数组大小大于2的数据问题转化为：检索条件1、检索条件2的组合实现。3.1检索条件1实现中规...

之前在DSL中一次问卷调查中，收集到如下几个和搜索类型相关的问题。•Q1：麻烦讲一下es常用的查询关键词，及使用场景，比如term、match、should、filter等等，谢谢老大......•Q2：讲下查询term，match，matchpharse，operator，mget，multimatch等的用法和区别•Q3：term、match、phrase、boolquery等常用语法，及对不同类型数据字段的支持。在分词场景下的区别•Q4：fuzzy查询的fuzziness参数不同取值，minim...

认证通过后，授予的徽章下方会有如上一段话：Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含：包括部署、配置和管理Elasticsearch集群；将数据索引到这些集群中以及查询和分析索引数据的能力。为了获得此认证，候选人在三个小时内在多个Elasticsearch集群实战完成了一系列具有挑战性的实任务。Elastic认证简称ECE认证，除此之外，还有侧重Kibana数据分析技能的ECA认证以及侧重可观测性的ECOE认证。新版证书...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）这是[码哥]Kafka系列文章的第二篇，码哥将从原理、实践和源码角度为大家深入剖析并实践Kafka。此系列包括[原理篇]、[实践篇]和[源码篇]。这篇是[原理篇]的第二篇，主要讲解Kafka的架构和实现原理。读者可以回顾之前的文章《Kafka性能篇：为何Kafka这么"快"》。今天我们来深入讲解Kafka的架构和实现原理。[码哥]将从架构和细节入手，以...

作者MageByt来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）大家好，我是「码哥」，码哥出品，必属精品。关注公众号「码哥字节」并加码哥微信(MageByte1024)，窥探硬核文章背后的男人的另一面。本文将对集群的节点、槽指派、命令执行、重新分片、转向、故障转移、消息等各个方面进行深入拆解。Redis集群原理总览目的在于掌握什么是ClusterCluster分片原理，客户端定位数据原理、故障切换，选主，什么场景...

作者MageByte技术团队来源码哥字节（ID：MageByte）转载请联系授权（微信ID：MageByte1024）在移动应用的业务场景中，我们需要保存这样的信息：一个key关联了一个数据集合。常见的场景如下：给一个userId，判断用户登陆状态;显示用户某个月的签到次数和首次签到时间;两亿用户最近7天的签到情况，统计7天内连续签到的用户总数;通常情况下，我们面临的用户数量以及访问量都是巨大的，比如百万、千万级别的用户数量，或者千万级别...