Tag: real-time
All the articles with the tag "real-time".
-
Flink 深挖 · 反压定位、数据倾斜与性能调优
Flink 反压定位与性能调优：credit-based 网络流控内核、Web UI 与 busyTime/backPressuredTime 指标加火焰图锁定最慢算子、数据倾斜的两阶段聚合与加盐打散、AsyncFunction 异步维表 join，以及并行度、RocksDB 与 unaligned checkpoint 这些调优旋钮。
-
Flink 深挖 · 状态管理与 Checkpoint 容错
深挖 Flink 有状态计算与容错：Keyed/Operator State 原语与作用域、HashMap 与 RocksDB 状态后端及增量 checkpoint 选型、Chandy-Lamport barrier 异步快照、aligned/unaligned 对齐取舍、Savepoint 用法，以及状态 TTL 与 key group 重分配。
-
Flink 深挖 · DataStream API 与有状态处理
从 Flink SQL 下沉到 DataStream API：什么时候必须动用底层 API、DataStream 心智与 SQL 对照、KeyedProcessFunction 的状态/TimerService/OutputTag 三大件，并用累计告警、支付超时、迟到分流、接 Kafka 聚合四个可跑实战串起来。
-
Flink 深挖 · 端到端 Exactly-Once 与两阶段提交
深挖 Flink 端到端 Exactly-Once：厘清 at-most/at-least/exactly-once 与 effectively-once 的含义、内部靠 checkpoint 一致性快照回滚重放、端到端需要可重放 source 与幂等或事务 sink，及 Kafka 事务两阶段提交与 transaction.timeout.ms 的坑。
-
Flink 深挖 · 时间语义、窗口与 Watermark
Flink 时间语义与乱序处理：processing/ingestion/event time 取舍、Watermark 生成与多输入取 min、withIdleness 排除空闲分区、Tumbling/Sliding/Session 窗口、allowedLateness 与侧输出兜底、增量与全量聚合，落到实时 CTR 与归因 join。