Tag: kafka
All the articles with the tag "kafka".
-
Kafka Consumer 深挖：poll 循环、位移提交与分区重平衡，如何做到不丢不重不卡顿
在生产者篇探讨了消息的高效写入后，本文将补齐消息流转的另一半：如何可靠且高效地消费数据。我们将深度拆解 poll 单线程循环与心跳机制、位移提交 (Offset Commit) 的四种姿势与交付语义、决定生死的三大超时参数、分区分配策略 (Assignor)、分区重平衡 (Rebalance) 的生命周期，以及 Consumer Lag 的诊断与调优实战。
-
Kafka Producer 深挖：分区策略与 Sticky Partitioner 是怎么把延迟砍半的
一条消息进哪个分区，直接决定 Kafka 的吞吐量、延迟与顺序性。本篇从微批处理讲起，深度拆解四种分区策略，讲透 Sticky Partitioner 为何能将无 key 消息的 p99 延迟砍半，并深入探讨 key 路由、扩容陷阱、顺序性保障与热点隔离机制。
-
Kafka 核心原理精讲：从一条日志到分布式流平台，把关键机制与取舍讲透
Kafka 核心原理深度剖析：以『分布式提交日志』为主线，讲透 Partition 路由、Offset 位移提交、ISR 副本同步、HW 水位线、分区容量决策、Pull 模型取舍、交付语义与 Dumb-broker 设计哲学。附带 KRaft 模式实战 Demo、生产环境反模式清单与 7 张底层原理图。
-
异步与削峰：用消息队列把洪峰挡在核心路径外
同步链路在峰值流量下极易被打垮。本篇讲清削峰 vs 解耦、MQ 缓冲与令牌桶入口结合的削峰模式、消费侧背压（Consumer Lag / DLQ / pause-resume）、异步后的一致性权衡与幂等消费，以及哪些场景不该异步。