Kafka 系列
P9 消息与流计算 · 共 7 篇 · 按阅读顺序倒叙排列
-
为什么 AdTech 偏爱 Kafka：广告事件中枢的五大典型场景与架构设计
Updated:广告的曝光、点击与转化本质上是一场高吞吐、需重放且被多方消费的事件洪流，这恰好是 Kafka 的绝对主场。本文将深入剖析 AdTech 领域的五大核心场景——采集削峰、计费对账、实时特征、预算反作弊及入湖入仓，并详解 Netty、Kafka、Redis 与 Flink 在其中的精妙分工与架构演进。
-
Kafka 生产踩坑与排障实战：AdTech 企业级线上事故复盘与反模式
在 AdTech 极高并发与严苛一致性要求的场景下，Kafka 的任何错误配置都会被放大成灾难。本文将整个 Kafka 系列中提及的所有反模式、线上事故、隐蔽大坑进行大一统整合，深度复盘涵盖 JVM 内存分配、零拷贝失效、无限 Rebalance、毒丸卡死以及虚假 acks=all 的血泪教训，并给出企业级排障指南。
-
Kafka 性能内核：磁盘系统凭什么跑出内存级吞吐
Updated:为什么基于普通物理磁盘构建的 Kafka，能在高并发场景下跑出百万级吞吐，甚至在性能上碾压部分内存级系统？本篇我们将深度剖析 Kafka 底层性能架构的核心四板斧：顺序追加写、页缓存机制、零拷贝 (Zero-copy) 以及日志分段与稀疏索引。同时结合批量压缩与实战调优经验，带你彻底看透高吞吐背后的流转逻辑与架构取舍。
-
Kafka 可靠性与 Exactly-Once 深挖：acks、ISR、min.insync.replicas 与事务，把『不丢不重』讲到底
Updated:在广告计费与对账等核心链路中，数据的底线是绝不丢失、不算重。本文将深入剖析 Kafka 的高可靠性架构，揭示“不丢”背后由 acks、副本复制与位移提交共同构筑的三方合约。我们将从底层机制出发，深挖 acks 取舍、min.insync.replicas 策略、unclean 选举机制，并全面解析幂等生产者与事务机制，为你讲清 Exactly-Once 语义的真实边界与工程实践。
-
Kafka Consumer 深挖：poll 循环、位移提交与分区重平衡，如何做到不丢不重不卡顿
Updated:在生产者篇探讨了消息的高效写入后，本文将补齐消息流转的另一半：如何可靠且高效地消费数据。我们将深度拆解 poll 单线程循环与心跳机制、位移提交 (Offset Commit) 的四种姿势与交付语义、决定生死的三大超时参数、分区分配策略 (Assignor)、分区重平衡 (Rebalance) 的生命周期，以及 Consumer Lag 的诊断与调优实战。
-
Kafka Producer 深挖：分区策略与 Sticky Partitioner 是怎么把延迟砍半的
Updated:一条消息进哪个分区，直接决定 Kafka 的吞吐量、延迟与顺序性。本篇从微批处理讲起，深度拆解四种分区策略，讲透 Sticky Partitioner 为何能将无 key 消息的 p99 延迟砍半，并深入探讨 key 路由、扩容陷阱、顺序性保障与热点隔离机制。
-
Kafka 核心原理精讲：从一条日志到分布式流平台，把关键机制与取舍讲透
Updated:Kafka 核心原理深度剖析：以『分布式提交日志』为主线，讲透 Partition 路由、Offset 位移提交、ISR 副本同步、HW 水位线、分区容量决策、Pull 模型取舍、交付语义与 Dumb-broker 设计哲学。附带 KRaft 模式实战 Demo 与 7 张底层原理图。