大数据必知必会之Kafka（上）

作者 | 冬子先生

来源 |运维开发故事(ID：mygsdcsf)

转载请联系授权(微信ID：wanger5354)

1 Kafka 概述
Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，主要是由 Scala 和 Java 编写。

它是一种高吞吐量的分布式发布订阅消息系统，可以处理事件流数据。通过 Kafka 你可以非常方便的把想要发布的消息，分发给任何想要订阅该消息的接收者。上游生产者只需要把消息输入到 Kafka 指定 Topic ，下游接收者只要订阅该 Topic ，就能低延时、高吞吐量的接收到上游的消息；Kafka 还支持 同一个 Topic 同时被多个下游消费者消费，且不同消费者之间数据处理进度互不干扰。

• 对于一个 topic，他的每一个 partition 同一时间只能被同一消费者组中的一个消费者所消费
• 相比于 AMQ，它更加轻量级：非侵入性的、依赖的东西非常少，占用资源非常少，部署简单，没有太多依赖，比较容易使用。
  目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成，Kafka 之所以受到越来越多的青睐，与它所“扮演”的三大角色是分不开的：
• 消息系统： Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
• 存储系统： Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制，我们可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。
• 流式处理平台： Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。
  2 Kafka 解决了什么问题
  消息队列一般主要处理：异步处理、服务解耦、流量控制，因此 Kafka 作为消息队列的一种，同样在解决这些问题。

3 Kafka 技术特性
高吞吐量、低延迟：kafka 每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个 topic 可以分多个 partition, consumer group 对 partition 进行并行 consume 操作。
可扩展性：kafka 集群支持热扩展
持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失，消息被消费仍然不会被立即删除，而是会有过期时间。
容错性：允许集群中节点失败（若副本数量为 n,则允许 n-1 个节点失败）
高并发：支持数千个客户端同时读写

• 队列模式：所有 consumer 都在一个队列，这样消息就在队内进行分区并行消费
• 订阅-发布模式：所有 consumer 都不再一个队列，这样 topic 消息可以广播给所有订阅的消费者
  4 Kafka 工作原理
  4.1 架构图

Producer ：
消息生产者，也就是发送消息的一方。生产者负责创建消息，然后将其投递到 Kafka 中；

Consumer ：
消息消费者，也就是接收消息的一方。消费者连接到 Kafka 上并接收消息，进而进行相应的业务逻辑处理；

Consumer Group （CG）：
消费者组，由多个 consumer 组成。 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。 所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

Broker ：
服务代理节点。对于 Kafka 而言，Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka 服务实例。大多数情况下也可以将 Broker 看作一台 Kafka 服务器，前提是这台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了一个 Kafka 集群。一般而言，我们更习惯使用首字母小写的 broker 来表示服务代理节点。

Controller：
集群中会有一个或者多个 broker，其中有一个 broker 会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。

1. 当某个分区的 leader 副本出现故障时，由控制器负责为该分区选举新的leader 副本。
2. 当检测到某个分区的 ISR 集合发生变化时，由控制器负责通知所有 broker 更新其元数据信息。
3. 当某个 Topic 增加分区数量时，同样还是由控制器负责分区的重新分配。
   在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）

Topic ：
可以理解为一个队列，生产者和消费者在队列的两端，一个输出数据，一个消费数据，它们面向的都是一个 topic；

Partition：
为了实现扩展性，一个数据量非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；那么 topic 的并发度基本等于 partition 的个数。

Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。

主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称为主题分区（Topic-Partition）。同一主题下的不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。

offset 是消息在分区中的唯一标识，Kafka 通过它来保证消息在分区内的顺序性，不过 offset 并不跨越分区，也就是说，Kafka 保证的是分区有序而不是主题有序。

如上图所示，主题中有4个分区，消息被顺序追加到每个分区日志文件的尾部。Kafka 中的分区可以分布在不同的服务器（broker）上，也就是说，一个主题可以横跨多个 broker，以此来提供比单个 broker 更强大的性能。

每一条消息被发送到 broker 之前，会根据分区规则选择存储到哪个具体的分区。如果分区规则设定得合理，所有的消息都可以均匀地分配到不同的分区中。如果一个主题只对应一个文件，那么这个文件所在的机器I/O将会成为这个主题的性能瓶颈，而分区解决了这个问题。在创建主题的时候可以通过指定的参数来设置分区的个数，当然也可以在主题创建完成之后去修改分区的数量，通过增加分区的数量可以实现水平扩展。

Replica：
Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。

同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样），副本之间是“一主多从”的关系，其中 leader 副本负责处理读写请求，follower 副本只负责与 leader 副本的消息同步。副本处于不同的 broker 中，当 leader 副本出现故障时，从 follower 副本中重新选举新的 leader 副本对外提供服务。Kafka 通过多副本机制实现了故障的自动转移，当 Kafka 集群中某个 broker 失效时仍然能保证服务可用。

如上图所示，Kafka 集群中有4个 broker，某个主题中有3个分区，且副本因子（即副本个数）也为3，如此每个分区便有1个 leader 副本和2个 follower 副本。生产者和消费者只与 leader 副本进行交互，而 follower 副本只负责消息的同步，很多时候 follower 副本中的消息相对 leader 副本而言会有一定的滞后。

Kafka 消费端也具备一定的容灾能力。Consumer 使用拉（Pull）模式从服务端拉取消息，并且保存消费的具体位置，当消费者宕机后恢复上线时可以根据之前保存的消费位置重新拉取需要的消息进行消费，这样就不会造成消息丢失。

4.2 Kafka 写流程

1. 连接 zk 集群，从 zk 中拿到对应的 topic 的 partition 信息和 partition 的 leader 的相关信息。
2. 向对应 broker 发消息
3. 客户端在发送消息时，必须指定消息所属的 Topic 和消息值 Value，此外还可以指定消息所属的 Partition 以及消息的 Key。
4. 对消息做序列化处理
5. 如果 消息记录 中指定了 Partition，则 Partitioner 不做任何事情；否则，Partitioner 根据消息的 key 得到一个 Partition。这是生产者就知道向哪个 Topic下的哪个 Partition 发送这条消息。
6. 消息被添加到相应的 batch 中，独立的线程将这些 batch 发送到 Broker 上（注意，消息不是一条一条发往 broker 的，而是会在 客户端本地缓存一批数量后，在发出去，因此客户端是以 批-batch 为单位发送消息的，即一批当中包含一条或多条消息；同样，broker 也是以批为单位进行数据存储的，后面会讲到 ）。
7. broker 收到消息会返回一个响应。如果消息成功写入 Kafka，则返回成功信息，内容包含了 Topic 信息、Patition信息、消息在 Partition 中的 Offset 信息；若失败，返回一个错误。

4.3 Kafka 读流程

1. 连接 zk 集群，从 zk 中拿到对应的 topic 的 partition 信息和 partition 的 leader 的相关信息
2. 连接到对应的 leader 对应的 broker
3. consumer 通过请求将希望读取的 topic、partition 以及对应的 offset 发送给 leader
4. leader 根据 offset 等信息定位到 segment（索引文件和日志文件）
5. 根据索引文件中的内容，定位到日志文件中该偏移量对应的开始位置读取相应长度的数据并返回给 consumer