鸿蒙开发者社区

作者王江华来源华仔聊技术（ID：gh97b8de4b5b34）大家好，我是华仔,又跟大家见面了。在上一篇中，主要带大家深度剖析了「Kafka对多路复用器Selector」的封装全过程，今天我们主要对Kafka网络层收发流程进行总结下，本系列总共分为3篇，这是下篇，主要剖析最后一个问题：针对JavaNIO的SocketChannel，kafka是如何封装统一的传输层来实现最基础的网络连接以及读写操作的？剖析KafkaChannel是如何对传输层、读写buffer操作进行封装...

作者王江华来源华仔聊技术（ID：gh97b8de4b5b34）大家好，我是华仔,又跟大家见面了。在上一篇中，主要带大家深度剖析了「生产者元数据」的拉取、管理全流程，今天我们就来聊聊Kafka是如何对JavaNIO进行封装的，本系列总共分为3篇，主要剖析以下几个问题：针对JavaNIO的SocketChannel，kafka是如何封装统一的传输层来实现最基础的网络连接以及读写操作的？剖析KafkaChannel是如何对传输层、读写buffer操作进行封装的？剖析工业级...

作者王江华来源华仔聊技术（ID：gh97b8de4b5b34）大家好，我是华仔,又跟大家见面了。在上一篇中，主要带大家深度剖析了「Kafka对NIOSocketChannel、Buffer」的封装全过程，今天我们接着聊聊Kafka是如何封装Selector多路复用器的，本系列总共分为3篇，今天是中篇，主要剖析4、5两个问题：针对JavaNIO的SocketChannel，kafka是如何封装统一的传输层来实现最基础的网络连接以及读写操作的？剖析KafkaChannel是如何对传输层、读写bu...

作者王江华来源华仔聊技术（ID：gh97b8de4b5b34）大家好，我是华仔,又跟大家见面了。在上一篇中，正式开启了「Kafka的源码之旅」，主要讲述了KafkaProducer初始化时用到的核心组件以及消息发送的核心流程，带你梳理生产者初始化整体的源码分析脉络，并通过「场景驱动」的方式带大家一点点的对Kafka源码进行深度剖析，一起掌握Kafka源码核心架构设计思想。今天这篇我们就来聊聊生产者是会如何拉取和管理元数据的，带你梳理生产者...

作者王江华来源华仔聊技术（ID：gh97b8de4b5b34）大家好，我是华仔,又跟大家见面了。上一篇作为专题系列的第一篇，我们深度剖析了关于Kafka存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的相信使用过Kafka的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。那么KafkaBroker端网络架构和请求处理到底是使用了哪些高大上的技术？它到底解决了什么问...

大家好，我是华仔,又跟大家见面了。上一篇作为专题系列的第二篇，从演进的角度带你深度剖析了关于Kafka请求处理全流程以及超高并发的网络架构设计的实现细节，今天开启第三篇，我们来聊聊Kafka生产环境大家都比较关心的问题。那么Kafka到底会不会丢数据呢如果丢数据，究竟该怎么解决呢只有掌握了这些，我们才能处理好Kafka生产级的一些故障，从而更稳定地服务业务。认真读完这篇文章，我相信你会对Kafka如何解决丢数据问题，有...

大家好，我是华仔,又跟大家见面了。最近工作比较忙，外加上在弄公众号迁移开通留言功能,原创文章已经鸽了一个多月,让大家久等了。上一篇作为专题系列的第一篇，我们深度剖析了关于Kafka存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的相信使用过Kafka的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。那么KafkaBroker端网络架构和请求处理到底是...

你好,我是华仔，在这个1024程序员特殊的节日里，又和大家见面了。从这篇文章开始，我将对Kafka专项知识进行深度剖析，今天我就来聊聊kafka的存储系统架构设计，说到存储系统，大家可能对MySQL比较熟悉，也知道MySQL是基于B+tree来作为它的索引数据结构。Kafka又是基于什么机制来存储为什么要设计成这样它解决了什么问题又是如何解决的里面又用到了哪些高大上的技术带着这些疑问，我们就来和你聊一聊Kafka存储架构设计背后的深度...

在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。1Consumer之总体概述在Kafka中,我们把消费消息的一方称为Consumer即消费者,它是Kafka的核心组件之一。它的主要功能是将Producer生产的消息进行消费处理，完成消费任务。那么这些Producer产生的消息是怎么被Consumer消费的呢又是基于何种消费方式进行消费，分区分配策略都有哪些，消费者...

在上一篇中我们详细聊了关于KafkaBroker内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaProducer即生产者的内部底层原理设计思想。1Producer之总体概述在Kafka中,我们把产生消息的一方称为Producer即生产者,它是Kafka的核心组件之一,也是消息的来源所在。它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢初始化和发送过程是怎么样的呢...

最近工作比较忙,公号差不多断更了一个多月,接下来会继续讲解Kafka相关内核技术,本篇主要来聊聊KafkaBroker内部的那点事。生产者和消费者底层原理设计思想放到下一篇来讲解。1kafkabroker总体概述Kafka控制器组件(Controller)即Broker,是Kafka的核心组件。它的主要作用是在ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色，但是在运行过程中，只能有一个Broker成为控制器，来执行管理和协...

接下来还会有一系列的Kafka相关文章,全方位的梳理和剖析Kafka「原理设计,架构,源码剖析」。本篇是Kafka系列文章的第三篇,本篇章会通过场景驱动的方式来深度剖析Kafka生产级容量评估方案如何分析,申请和实施。1kafka容量评估需求场景分析集群如何每天hold住10亿+请求拿电商平台为例,kafka集群每天需要承载10亿+请求流量数据，一天24小时，对于平台来说，晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则...

1引入字典从本文开始慢慢揭开Redis字典的神秘面纱，字典又称为散列表，用来存储键值对的一种数据结构，在很多高级语言中都有实现，比如PHP的数组，Redis的整个数据库都是用字典来进行存储的，对Redis数据库的CURD操作，实际就是对字典中的数据进行CURD。由此可以得出字典的特征1).可以存储海量数据，KV对是映射关系，可以根据键以O(1)的时间复杂度读取或者插入KV对。2).KV对的键的类型可以是字符串，整型等，且唯一。3).KV对中...

1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量，低延迟，高并发,高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。接下来就为大家一一呈现里面的细节。2kafka高可用设计Leader选举机...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一篇关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的下篇。这篇文章干货很多，希望你可以耐心读完。3Kafka架构调优5问了解Kafka超高并发网络架构是如何设计吗我们知...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的中篇。这篇文章干货很多，希望你可以耐心读完。2kafka进阶提升10问谈谈你对kafka的集群架构是如何理解的01Kafka...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的上篇，主要输出基础知识方面的面试题。这篇文章干货很多，希望你可以耐心读完。Kafka基础知识15问Kafka是什么,适...