1. Kafka如何保证消息不丢失

生产者发送消息到Brocker丢失

• 设置异步发送 

• 消息重试

 

消息在Brocker中存储丢失

• 发送确认机制acks

 

消费者从Brocker接收消息丢失

• Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition）
• topic分区中消息只能由消费者组中的唯一一个消费者处理，不同的分区分配给不同的消费者（同一个消费者组）

消费者默认是自动按期提交已经消费的偏移量，默认是每隔5s提交一次 如果出现重平衡的情况，可能会重复消费或丢失数据 

 禁用自动提交偏移量，改为手动

• 同步提交
• 异步提交
• 同步+异步组合提交

 

2. Kafka是如何保证消费的顺序性

问题原因：

一个topic的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储的偏移量，如果消费者关联了多个分区不能保证顺序性

解决方案：

• 发送消息时指定分区号
• 发送消息时按照相同的业务设置相同的key 

 

3. Kafka的高可用机制有了解过嘛

集群模式

分区备份机制 

 

4. Kafka数据清理机制了解过嘛

Kafka存储结构

• Kafka中topic的数据存储在分区上，分区如果文件过大会分段存储segment
• 每个分段都在磁盘上以索引(xxxx.index)和日志文件(xxxx.log)的形式存储
• 分段的好处是，第一能够减少单个文件内容的大小，查找数据方便，第二方便kafka进行日志清理。

日志的清理策略有两个：

1. 根据消息的保留时间，当消息保存的时间超过了指定的时间，就会触发清理，默认是168小时（ 7天）
2. 根据topic存储的数据大小，当topic所占的日志文件大小大于一定的阈值，则开始删除最久的消息。（默认关闭）

5. Kafka中实现高性能的设计有了解过嘛

• 消息分区：不受单台服务器的限制，可以不受限的处理更多的数据
• 顺序读写：磁盘顺序读写，提升读写效率
• 页缓存：把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问
• 零拷贝：减少上下文切换及数据拷贝
• 消息压缩：减少磁盘IO和网络IO
• 分批发送：将消息打包批量发送，减少网络开销