Kafka ISR机制详解！

发表于 更新于 分类于 阅读次数： 本文字数： 2.5k 阅读时长 ≈ 2 分钟

嗨，你好呀，我是猿java

Kafka 的高可用性和高可靠性与它的 ISR机制密切相关。那么，什么是 ISR？ 它是如何工作的？这篇文章，我们来详解 Kafka 的 ISR 机制。

什么是 ISR机制？

ISR 的全称叫做In-Sync Replicas(同步副本集)，ISR 动态维护了一个和 Leader 副本保持同步副本集合，ISR 中的副本全部都和 Leader 的数据保持同步。

ISR 机制通过副本冗余机制，提供了 kafka 消息的高可靠性，做到故障转移，保障服务的可用性。ISR 平衡了主从架构下，复制方案的选择(同步 / 异步 / 少数服从多数)，让使用者根据参数自行选择。

ISR的作用

ISR的作用主要体现在以下几个方面:

生产消息时的ACK确认机制

当我们生产消息的时候，到底要写入多少副本才能算成功呢?通过 ISR 就可以知晓了哪些 follower 与 Leader 保持着同步，在写入消息的时候，设置写入处于 ISR 中所有的副本才算成功。Kafka提供了以下几种ACK确认机制:

acks=0

生产者不等待服务器的确认，消息发送后即认为成功，不管消息是否真正写入 Kafka，这种方式效率最高，但可靠性最低，数据可能存在丢失。

img

acks=1

生产者会等待来自 Leader分区的确认。Leader分区接收到消息并写入本地日志后即返回确认。这种方式在 Leader分区可用时可靠，但如果 Leader分区发生故障，可能会丢失数据。从 Kafka 2.0 开始，默认值是 acks=1

img

acks=all（或-1）

生产者等待所有 ISR（In-Sync Replica，同步副本）分区的确认。只有当消息被写入所有同步副本后才返回确认，这种方式最可靠，但性能较低。

img

Leader选举

当 Leader 挂了之后，我们应该选择哪个 follower 来成为新的 Leader 呢?从 ISR 中选择对应的 follower 成为新的 Leader。

最小 ISR副本数配置

Kafka提供了 min.insync.replicas 参数配置，这个参数可以配置最少 ISR 中需要多少个副本，才能继续提供写服务。如果设置为 2，一旦 ISR 中的个数小于 2，那么就不再提供写服务，牺牲一定的可用性，来保障这种高可靠的场景需求。

ISR的原理

ISR机制的实现原理如下:

1.Leader维护ISR

Leader负责维护ISR，当一个Follower赶上了Leader的进度，Leader会把它加入到ISR中;当一个Follower长时间未赶上Leader，或者主动退出同步，Leader会把它从ISR中移除，变成OSR(Out-of-Sync Replicas)。

2. 生产者发送消息

生产者发送消息给Leader，Leader会把消息append到本地log，并且复制给ISR中的所有Follower。

3. 消息提交

当ISR中的所有Follower都完成了复制，Leader会更新HW(High Watermark，最高提交偏移量)，此时消息才算真正提交。

4. 消费者消费消息

消费者只能消费提交的消息，即位于HW之前的消息。

5. Follower同步数据

Follower定期主动从Leader拉取数据，保持与Leader的同步。当Follower死机或长时间未同步时，会被从ISR中移除。

6. Leader选举

当Leader所在的broker失效时，ISR中的其他Follower会选出一个新的Leader。选举规则是:选择ISR中最新的Follower。

实例分析

为了更好地理解 ISR机制，我们通过一个示例来讲解。

假设一个 Kafka 集群中有一个 Topic test，该 Topic 有一个分区 partition-0，该分区有 3 个副本，分别在 Broker 1、Broker 2 和 Broker 3 上。

在初始状态时：
Leader 副本：Broker 1
Follower 副本：Broker 2, Broker 3
所有的副本都工作良好，所以 ISR 集合为：[Broker 1, Broker 2, Broker 3]

假如 Broker 2 失效：
Broker 2 从 ISR 集合中移除，因此，ISR 集合变成了：[Broker 1, Broker 3]

接着 Broker 1 也失效了：
Broker 3 被选为新的 Leader，SR 集合变成了：[Broker 3]

再然后，Broker 2 恢复：
Broker 2 开始从 Broker 3 复制数据，Broker 2 追上 Broker 3 后，重新加入 ISR 集合，因此，ISR 集合变成了：[Broker 2, Broker 3]

ISR的优缺点

ISR机制的优点:

  1. 提供了消息的高可靠性，即使部分副本失效，只要ISR中还有副本存活，消息就不会丢失。
  2. 支持故障转移，当 Leader失效时，ISR中的Follower可以顺利接替成为新的 Leader，提高了系统的可用性。
  3. 通过ACK机制，生产者可以根据自己的需求，在可靠性和吞吐量之间进行权衡。

ISR机制的缺点:

  1. 同步复制会增加消息发送的延迟，因为生产者需要等待所有ISR中的副本完成复制。
  2. ISR中的副本越多，消息发送的延迟就越高。
  3. ISR中的副本数量受限于min.insync.replicas参数，如果副本数量低于该值，就无法提供写服务，会降低系统的可用性。

总结

ISR机制是 Kafka实现高可靠性和高可用性的关键所在，它通过动态维护一个和Leader保持同步的副本集合，为消息的可靠性提供了保证。同时，ISR机制还支持故障转移，当 Leader失效时，ISR中的 Follower可以顺利接替成为新的 Leader。

不过，ISR机制也存在一些缺点，比如会增加消息发送的延迟，并且ISR中的副本数量受限于 min.insync.replicas参数。因此，在使用ISR机制时，需要根据实际的业务需求，在可靠性、可用性和吞吐量之间进行权衡。

总的来说，ISR机制是 Kafka实现高可靠性和高可用性的一个重要机制，它的出现大大提高了 Kafka的实用性，使其成为了大数据领域广泛使用的消息队列系统。

交流学习

最后，把猿哥的座右铭送给你：投资自己才是最大的财富。 如果你觉得文章有帮助，请帮忙转发给更多的好友，或关注公众号：猿java，持续输出硬核文章。

drawing