一、常见积压原因1. 消费者能力不足消费者逻辑复杂/执行耗时存在慢 SQL、复杂计算等实例数量不足消费者实例数少于分区数外部依赖异常数据库连接超时、空指针异常等2. Broker 资源瓶颈磁盘 I/O 性能不足CPU 或内存资源紧张网络带宽受限3. 网络问题消费者与 Broker 间网络延迟Broker 集群内网络丢包网络拥塞4. 流量突增短时消息生产速率大于消费速率5. 频繁 Rebalance心跳超时、频繁上下线增加消费者处理消息时间二、应急处理措施1. 临时扩容快速部署额外消费者实例2. 限流降级对非核心业务实施限流三、监控与排查1. 消费者端监控Lag 值消息积压数量消费速率单位时间处理消息数处理耗时单条消息处理时间2. Broker 端监控CPU 使用率内存使用情况磁盘 I/O 性能网络流量3. 日志分析检查消费者日志中的错误信息排查异常堆栈分析慢处理记录四、优化消费者端策略1. 水平扩展增加消费者实例不超过分区数2. 参数调整启用批量处理提高吞吐量3. 并发处理使用线程池并行处理消息五、优化 Broker 配置1. 资源升级使用 SSD 提升磁盘性能增加内存容量提升网络带宽2. 分区调整增加 Topic 分区数支持更多并行消费3. 配置优化调整日志保留策略和复制因子磁盘空间不足时开启日志压缩对于状态更新类 Topic可配置为只保留每个 Key 的最新值