Tag: kafka

All the articles with the tag "kafka".

• 实时数仓 · 分层设计与 Lambda/Kappa 架构

  22 Aug, 2025
  • #olap
  • #realtime
  • #data-warehouse
  • #flink
  • #kafka

  实时数仓分层：ODS/DWD/DWS/ADS 各层职责、Lambda 与 Kappa 的取舍、流批一体如何落地，以及 Flink + Kafka + OLAP 的端到端实时仓，落到速度层与批层口径统一。

• Flink 深挖 · 端到端 Exactly-Once 与两阶段提交

  13 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #exactly-once
  • #kafka

  深挖 Flink 端到端 Exactly-Once：厘清 at-most/at-least/exactly-once 含义、内部靠 checkpoint 一致性快照实现、端到端为何需要可重放 source 与事务 sink，及 Kafka 事务两阶段提交。

• Apache Flume：从 Source·Channel·Sink 到广告日志不丢链路与选型

  4 Jul, 2025
  • #flume
  • #log-collection
  • #kafka
  • #adtech
  • #data-pipeline

  Apache Flume 讲透：Agent 的 Source/Channel/Sink 三段式与 at-least-once、Memory/File/Kafka Channel 取舍、TailDir→Kafka 配置，广告不丢链路与真实 DSP 案例脱敏拆解。

• 为什么 AdTech 偏爱 Kafka：广告事件中枢的五大典型场景与架构设计

  27 Jun, 2025
  • #kafka
  • #adtech
  • #streaming
  • #architecture

  广告的曝光/点击/转化是高吞吐、需重放、被多方消费的事件洪流，正是 Kafka 的主场。本篇讲透 AdTech 五大场景——采集削峰、计费对账、实时特征、预算反作弊、入湖入仓——与 Netty+Kafka+Redis+Flink 的分工。

• Kafka 可靠性与 Exactly-Once 深挖：acks、ISR、min.insync.replicas 与事务，把『不丢不重』讲到底

  24 Jun, 2025
  • #kafka
  • #reliability
  • #exactly-once
  • #transactions

  计费对账的底线是绝不丢、不算重。本篇讲透 Kafka 可靠性：不丢是 acks × 副本复制 × 消费提交的三方合约，深挖 acks 取舍、min.insync.replicas、unclean 选举、幂等生产者与事务，讲清 Exactly-Once 的边界。