Flink / 流处理系列

P6 中间件与运行时 · 共 7 篇 · 按阅读顺序倒叙排列

• Flink 深挖 · 部署模式与 Flink on K8s

  25 Jul, 2025
  • #flink
  • #stream-processing
  • #deployment
  • #kubernetes
  • #adtech

  Flink 生产部署收尾：Session / Per-Job / Application 三种模式怎么选、为何生产选 Application、Flink on Kubernetes 的 Native 与 Operator 两条路线、JobManager 高可用与 checkpoint 存储、资源与内存模型、stop-with-savepoint 优雅升级。

• Flink 深挖 · 反压定位与性能调优

  22 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #performance
  • #tuning

  Flink 反压：credit-based 网络流控、Web UI 与 busyTime 定位反压起点、数据倾斜的两阶段聚合与加盐打散、AsyncFunction 异步维表 join，及并行度/RocksDB/unaligned checkpoint 调优。

• Flink 深挖 · 状态管理与 Checkpoint 容错

  19 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #fault-tolerance
  • #system-design

  Flink 有状态计算与容错：Keyed/Operator State 原语、HashMap/RocksDB 后端、Chandy-Lamport Checkpoint barrier 快照、aligned/unaligned 取舍与 Savepoint。

• Flink 深挖 · DataStream API：ProcessFunction、状态、Timer 与 Side Output

  18 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #datastream
  • #adtech

  从 Flink SQL 下沉到 DataStream API：什么时候必须用底层 API、DataStream 心智与 SQL 对照、KeyedProcessFunction 的状态/TimerService/OutputTag 三大件，并用累计告警、支付超时、迟到分流、接 Kafka 聚合四个可跑实战串起来。

• Flink 深挖 · 端到端 Exactly-Once 与两阶段提交

  13 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #exactly-once
  • #kafka

  深挖 Flink 端到端 Exactly-Once：厘清 at-most/at-least/exactly-once 含义、内部靠 checkpoint 一致性快照实现、端到端为何需要可重放 source 与事务 sink，及 Kafka 事务两阶段提交。

• Flink 深挖 · 时间语义、窗口与 Watermark

  11 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #event-time
  • #system-design

  Flink 时间语义与乱序：processing/ingestion/event time 取舍、Watermark 与多输入取 min、Tumbling/Sliding/Session 窗口、allowedLateness 与侧输出兜底、增量/全量聚合。

• Flink 深挖（开篇）· 流处理模型与运行时架构

  6 Jul, 2025
  • #flink
  • #stream-processing
  • #real-time
  • #adtech
  • #system-design

  Flink 深挖开篇：为何广告实时链路选 Flink 而非微批、DataStream 流处理心智、JobManager/TaskManager/Slot 运行时、StreamGraph→JobGraph→ExecutionGraph 转换与算子链、部署模式。