Tag: flink
All the articles with the tag "flink".
-
广告多维报表与漏斗分析实战
广告报表的极致体验，取决于正确的指标语义、可命中的预聚合及可承受的去重成本。本文聚焦多维报表实战，解析 CUBE 组合爆炸的应对策略与物化视图加速路径。详细阐述漏斗分析的有序递减语义与留存 cohort 的集合运算，对比 Bitmap 精确去重与 HLL 近似去重在计费场景下的严格边界。最终通过报表 API 缓存策略，将高频看板查询的 P99 延迟压制在秒级以内，实现指标闭环。
-
实时数仓 · 分层设计与 Lambda/Kappa 架构
实时数仓并非简单地将批处理换成流处理，而是要用同一套分层语义让流式增量与可重放回刷共享口径。本文详细拆解 ODS、DWD、DWS 到 ADS 各层的核心职责，深入探讨 Lambda 双链路架构与 Kappa 单逻辑重放的取舍，以及流批一体的落地实践。结合 Flink 与 OLAP 引擎构建端到端实时管线，彻底解决速度层与批层结果不一致的痛点，确保指标定义始终保持唯一。
-
Flink 深挖 · 部署模式与 Flink on K8s
Flink 生产部署收尾：Session / Per-Job / Application 三种模式怎么选、为何生产选 Application、Flink on K8s 的 Native 与 Operator 两条路线、JobManager 高可用、checkpoint 远端存储、内存模型与 OOMKill、stop-with-savepoint 优雅升级。
-
Flink 深挖 · 反压定位、数据倾斜与性能调优
Flink 反压定位与性能调优：credit-based 网络流控内核、Web UI 与 busyTime/backPressuredTime 指标加火焰图锁定最慢算子、数据倾斜的两阶段聚合与加盐打散、AsyncFunction 异步维表 join，以及并行度、RocksDB 与 unaligned checkpoint 这些调优旋钮。
-
Flink 深挖 · 状态管理与 Checkpoint 容错
深挖 Flink 有状态计算与容错：Keyed/Operator State 原语与作用域、HashMap 与 RocksDB 状态后端及增量 checkpoint 选型、Chandy-Lamport barrier 异步快照、aligned/unaligned 对齐取舍、Savepoint 用法，以及状态 TTL 与 key group 重分配。