1. 为什么Kafka面试题如此重要在分布式系统和大数据领域Kafka已经成为消息队列的事实标准。过去五年间我看到几乎所有中大型企业的技术架构中都会出现Kafka的身影。它不仅是简单的消息队列更是实时数据管道、流处理平台的核心枢纽。记得我第一次面试Kafka相关岗位时面试官从基础概念一直问到集群调优整整两个小时的技术拷问让我意识到掌握Kafka不是背几个概念就行需要真正理解其设计哲学和实现细节。这也是我整理这份面试题的初衷——帮助开发者系统性地掌握Kafka知识体系。2. Kafka核心概念20问2.1 基础架构篇Kafka的三大核心组件是什么Broker负责消息存储和转发的服务节点Producer消息生产者Consumer消息消费者实际应用中Zookeeper虽然重要但不算核心组件新版本已逐步移除对它的依赖Topic和Partition的关系一个Topic可以分为多个PartitionPartition是物理存储单元分布在不同Broker这种设计实现了水平扩展和并行消费为什么Kafka能做到高吞吐顺序IO避免磁盘随机读写零拷贝技术减少内核态到用户态的数据拷贝批量发送减少网络IO次数我在生产环境实测单节点可达10W QPS2.2 存储机制篇消息在Kafka中如何持久化按Partition存储为分段日志文件每个段包含.log数据和.index索引文件默认保留策略7天或1GB可配置什么是ISR机制In-Sync Replicas同步副本集只有ISR中的副本才有资格成为Leader通过replica.lag.time.max.ms控制同步阈值3. 生产消费全流程解析3.1 生产者关键参数// 典型生产者配置 props.put(acks, all); // 最强持久性保证 props.put(retries, 3); // 失败重试次数 props.put(batch.size, 16384); // 批量发送阈值 props.put(linger.ms, 5); // 发送等待时间常见坑点acks0可能丢消息但吞吐最高批量发送需平衡batch.size和linger.ms记得配置max.block.ms避免生产者阻塞3.2 消费者组机制参数说明推荐值group.id消费者组标识按业务命名auto.offset.reset无位移时策略latest/earliestenable.auto.commit自动提交位移生产环境建议falseRebalance过程消费者加入/离开组Coordinator触发再平衡重新分配Partition高频Rebalance会导致消费停顿需优化session.timeout.ms4. 集群管理与性能调优4.1 容量规划实战假设日均消息量1亿条平均大小1KB总数据量100,000,000 * 1KB ≈ 100GB/天保留7天需要100GB * 7 700GB考虑副本因子3700GB * 3 2.1TB建议至少3个Broker每个节点预留1TB存储4.2 监控指标看什么# 关键JMX指标 kafka.server:typeBrokerTopicMetrics,nameMessagesInPerSec kafka.server:typeReplicaManager,nameUnderReplicatedPartitions kafka.consumer:typeconsumer-fetch-manager-metrics,namerecords-lag报警阈值建议UnderReplicatedPartitions 0持续5分钟网络吞吐达到网卡带宽70%磁盘使用率超过85%5. 真实场景问题排查实录案例1消费延迟突然飙升检查消费者GC日志发现Full GC频繁调整JVM参数-Xmx4g -XX:UseG1GC优化fetch.min.bytes减少请求次数案例2生产者吞吐不达标网络抓包发现大量小包调整batch.size64KB和linger.ms20吞吐从5MB/s提升到50MB/s6. 高阶面试题精选如何实现Exactly-Once语义生产者幂等事务消费者读取事务消息业务幂等Kafka为什么移除ZookeeperKRaft模式用内部共识算法替代简化架构提高可扩展性我在3.3.1版本实测迁移过程...Kafka与RabbitMQ如何选型消息顺序Kafka分区有序 vs RabbitMQ队列有序协议层面Kafka二进制协议 vs RabbitMQ的AMQP我在电商订单系统做过对比测试...7. 学习路线与资源推荐实践建议本地用Docker起三节点集群docker-compose -f kafka-cluster.yml up用kafka-producer-perf-test做压力测试实现一个带死信队列的消息处理系统延伸阅读《Kafka权威指南》第2章存储机制Confluent官方博客的调优指南我在GitHub上的Kafka实战项目含配置模板