实时数仓与 OLAP
P10 采集与分析存储 · 共 5 篇 · 按阅读顺序倒叙排列
-
时序数据库 InfluxDB 深挖 · 数据模型、TSM 与降采样
InfluxDB 深挖：时序数据的写多读窗、追加不改特征，Line Protocol 与 measurement/tag/field 数据模型、series cardinality 陷阱，TSM 存储引擎（WAL+Cache+TSM+Compaction）与 TSI 索引，保留策略与降采样，1.x→2.x→3.x（IOx 列存）演进，落到广告系统指标监控的选型与踩坑。
-
广告多维报表与漏斗分析实战
广告报表的极致体验，取决于正确的指标语义、可命中的预聚合及可承受的去重成本。本文聚焦多维报表实战，解析 CUBE 组合爆炸的应对策略与物化视图加速路径。详细阐述漏斗分析的有序递减语义与留存 cohort 的集合运算，对比 Bitmap 精确去重与 HLL 近似去重在计费场景下的严格边界。最终通过报表 API 缓存策略，将高频看板查询的 P99 延迟压制在秒级以内，实现指标闭环。
-
实时数仓 · 分层设计与 Lambda/Kappa 架构
实时数仓并非简单地将批处理换成流处理，而是要用同一套分层语义让流式增量与可重放回刷共享口径。本文详细拆解 ODS、DWD、DWS 到 ADS 各层的核心职责，深入探讨 Lambda 双链路架构与 Kappa 单逻辑重放的取舍，以及流批一体的落地实践。结合 Flink 与 OLAP 引擎构建端到端实时管线，彻底解决速度层与批层结果不一致的痛点，确保指标定义始终保持唯一。
-
OLAP · 列式存储原理与 ClickHouse/Doris
广告实时链路的最后一块拼图是可交互的多维报表，而现代 OLAP 的地基几乎全是列式存储。本文深度剖析行存与列存在宽表聚合场景下为何会产生数量级的性能差异，拆解字典编码、RLE 压缩、跳过索引、向量化执行与 MPP 分布式查询等底层加速机制。同时，全面对比 ClickHouse 与 Doris 的架构心智与选型取舍，探讨如何将这些工程积木应用到广告明细查询与秒级看板的性能优化路径中。
-
Apache Flume：从 Source·Channel·Sink 到广告日志不丢链路与选型
Apache Flume 讲透：Agent 的 Source/Channel/Sink 三段式与 at-least-once、Memory/File/Kafka Channel 取舍、TailDir→Kafka 配置，广告不丢链路与真实 DSP 案例脱敏拆解。