鸿蒙开发者社区

本文来自OpenHarmony成长计划啃论文俱乐部11组PIMF（PreeminentInputMethodFramework），PIMF即卓越的输入法框架。笔者阅读文档尝试使用DevEcoStudio3.0Beta3forOpenHarmony进行低代码开发OpenHarmony应用。[toc](目录)前言OpenHarmony3.1Release于2022年3月30日发布后，3月31日华为发布了最新的IDE工具DevEcoStudio3.0Beta3forOpenHarmony。（DevEcoStudio3.0Beta3是支撑OpenHarmony应用及服务开发的第一个版本，改变了之前Har...

大家好，我是华仔,又跟大家见面了。上一篇作为专题系列的第二篇，从演进的角度带你深度剖析了关于Kafka请求处理全流程以及超高并发的网络架构设计的实现细节，今天开启第三篇，我们来聊聊Kafka生产环境大家都比较关心的问题。那么Kafka到底会不会丢数据呢如果丢数据，究竟该怎么解决呢只有掌握了这些，我们才能处理好Kafka生产级的一些故障，从而更稳定地服务业务。认真读完这篇文章，我相信你会对Kafka如何解决丢数据问题，有...

大家好，我是华仔,又跟大家见面了。最近工作比较忙，外加上在弄公众号迁移开通留言功能,原创文章已经鸽了一个多月,让大家久等了。上一篇作为专题系列的第一篇，我们深度剖析了关于Kafka存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的相信使用过Kafka的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。那么KafkaBroker端网络架构和请求处理到底是...

你好,我是华仔，在这个1024程序员特殊的节日里，又和大家见面了。从这篇文章开始，我将对Kafka专项知识进行深度剖析，今天我就来聊聊kafka的存储系统架构设计，说到存储系统，大家可能对MySQL比较熟悉，也知道MySQL是基于B+tree来作为它的索引数据结构。Kafka又是基于什么机制来存储为什么要设计成这样它解决了什么问题又是如何解决的里面又用到了哪些高大上的技术带着这些疑问，我们就来和你聊一聊Kafka存储架构设计背后的深度...

在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。1Consumer之总体概述在Kafka中,我们把消费消息的一方称为Consumer即消费者,它是Kafka的核心组件之一。它的主要功能是将Producer生产的消息进行消费处理，完成消费任务。那么这些Producer产生的消息是怎么被Consumer消费的呢又是基于何种消费方式进行消费，分区分配策略都有哪些，消费者...

在上一篇中我们详细聊了关于KafkaBroker内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaProducer即生产者的内部底层原理设计思想。1Producer之总体概述在Kafka中,我们把产生消息的一方称为Producer即生产者,它是Kafka的核心组件之一,也是消息的来源所在。它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢初始化和发送过程是怎么样的呢...

最近工作比较忙,公号差不多断更了一个多月,接下来会继续讲解Kafka相关内核技术,本篇主要来聊聊KafkaBroker内部的那点事。生产者和消费者底层原理设计思想放到下一篇来讲解。1kafkabroker总体概述Kafka控制器组件(Controller)即Broker,是Kafka的核心组件。它的主要作用是在ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色，但是在运行过程中，只能有一个Broker成为控制器，来执行管理和协...

接下来还会有一系列的Kafka相关文章,全方位的梳理和剖析Kafka「原理设计,架构,源码剖析」。本篇是Kafka系列文章的第三篇,本篇章会通过场景驱动的方式来深度剖析Kafka生产级容量评估方案如何分析,申请和实施。1kafka容量评估需求场景分析集群如何每天hold住10亿+请求拿电商平台为例,kafka集群每天需要承载10亿+请求流量数据，一天24小时，对于平台来说，晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则...

1引入字典从本文开始慢慢揭开Redis字典的神秘面纱，字典又称为散列表，用来存储键值对的一种数据结构，在很多高级语言中都有实现，比如PHP的数组，Redis的整个数据库都是用字典来进行存储的，对Redis数据库的CURD操作，实际就是对字典中的数据进行CURD。由此可以得出字典的特征1).可以存储海量数据，KV对是映射关系，可以根据键以O(1)的时间复杂度读取或者插入KV对。2).KV对的键的类型可以是字符串，整型等，且唯一。3).KV对中...

1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量，低延迟，高并发,高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。接下来就为大家一一呈现里面的细节。2kafka高可用设计Leader选举机...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一篇关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的下篇。这篇文章干货很多，希望你可以耐心读完。3Kafka架构调优5问了解Kafka超高并发网络架构是如何设计吗我们知...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的中篇。这篇文章干货很多，希望你可以耐心读完。2kafka进阶提升10问谈谈你对kafka的集群架构是如何理解的01Kafka...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的上篇，主要输出基础知识方面的面试题。这篇文章干货很多，希望你可以耐心读完。Kafka基础知识15问Kafka是什么,适...

TiCDC是一个通过拉取TiKV日志实现的TiDB增量数据同步工具，具有还原数据到与上游任意TSO一致状态的能力，同时提供开放数据协议，支持其他系统订阅数据变更。TiCDC运行时是无状态的，借助PD内部的etcd实现高可用。TiCDC集群支持创建多个同步任务，向多个不同的下游进行数据同步。主要优势：数据高可用：TiCDC从TiKV获取变更日志，意味着只要TiKV具备高可用就能保证数据的高可用，遇到TiCDC全部异常关闭的极端情况，后续启动还能...

社会数字化、智能化的发展进程中，海量的数据带来巨大挑战，各行各业都在加速数字化转型，越来越多的企业意识到数据基础设施是成功的关键。然而，作为数据基础设施的核心，传统数据库例如MySQL面临性能和容量瓶颈，通过中间件实现的分库分表方案复杂度高，同时带来高昂的运维成本。作为一款企业级数据库，TiDB采用计算、存储分离的架构，可以根据业务需要进行弹性的扩展，应对更加实时和智能的数据应用需求。TiDB提供DataMigrat...

1PD是什么PD(PlacementDriver)Server：整个TiDB集群的元信息管理模块，负责存储每个TiKV节点实时的数据分布情况和集群的整体拓扑结构，提供TiDBDashboard管控界面，并为分布式事务分配事务ID。PD不仅存储元信息，同时还会根据TiKV节点实时上报的数据分布状态，下发数据调度命令给具体的TiKV节点，可以说是整个集群的“大脑”。此外，PD本身也是由至少3个节点构成，拥有高可用的能力。PD大体来讲基本上就是一个etcd集群那么etcd...

所谓延时队列就是延时的消息队列，下面说一下一些业务场景实践场景订单支付失败，每隔一段时间提醒用户用户并发量的情况，可以延时2分钟给用户发短信先来看看Redis实现普通的消息队列我们知道，对于专业的消息队列中间件，如Kafka和RabbitMQ，消费者在消费消息之前要进行一系列的繁琐过程。如RabbitMQ发消息之前要创建Exchange，再创建Queue，还要将Queue和Exchange通过某种规则绑定起来，发消息的时候要指定routingkey，还要控...

假设我们有一条SQL语句是这样的：updatetusersetname'月伴飞鱼'whereid1;那么我们先想一下这条SQL语句是如何执行的首先肯定是我们的系统通过一个数据库连接发送到了MySQL上，然后肯定会经过SQL接口、解析器、优化器、执行器几个环节，解析SQL语句，生成执行计划，接着去由执行器负责这个计划的执行，调用InnoDB存储引擎的接口去执行。大致会走下图的这个流程我们就来探索一下这个存储引擎里的架构设计，以及如何基于存储引擎完...

先看看具体有哪些字段：mysql>EXPLAINSELECT1;其实除了以SELECT开头的查询语句，其余的DELETE、INSERT、REPLACE以及UPDATE语句前边都可以加上EXPLAIN这个词儿，用来查看这些语句的执行计划建两张测试表：CREATETABLEt1(idINTNOTNULLAUTOINCREMENT,key1VARCHAR(100),key2VARCHAR(100),key3VARCHAR(100),nameVARCHAR(100),PRIMARYKEY(id),KEYidxkey1(key1),KEYidxkey2key3(key2,key3))EngineInnoDBCHARSETutf8;CREATETABLEt2(idIN...

前言先来看看Redis客户端和服务端的交互模型可以得出：1.Redis是基于一个Request，一个Response的同步请求服务2.客户端将数据包发送至服务器，然后服务器再将响应数据发送回客户端，这都需要花费一定时间的。这段时间被称为往返时间RTT(RoundTripTime)。当一个客户端需要连续执行很多请求时，就很容易看出往返时间是影响系统性能的例如：如果往返时间RTT是250毫秒，即使Redis服务器每秒钟能处理1000个请求，我们也只能每秒钟最...