Tag: system-design
All the articles with the tag "system-design".
-
实时数仓 · 分层设计与 Lambda/Kappa 架构
实时数仓并非简单地将批处理换成流处理，而是要用同一套分层语义让流式增量与可重放回刷共享口径。本文详细拆解 ODS、DWD、DWS 到 ADS 各层的核心职责，深入探讨 Lambda 双链路架构与 Kappa 单逻辑重放的取舍，以及流批一体的落地实践。结合 Flink 与 OLAP 引擎构建端到端实时管线，彻底解决速度层与批层结果不一致的痛点，确保指标定义始终保持唯一。
-
OLAP · 列式存储原理与 ClickHouse/Doris
广告实时链路的最后一块拼图是可交互的多维报表，而现代 OLAP 的地基几乎全是列式存储。本文深度剖析行存与列存在宽表聚合场景下为何会产生数量级的性能差异，拆解字典编码、RLE 压缩、跳过索引、向量化执行与 MPP 分布式查询等底层加速机制。同时，全面对比 ClickHouse 与 Doris 的架构心智与选型取舍，探讨如何将这些工程积木应用到广告明细查询与秒级看板的性能优化路径中。
-
MySQL 内核深挖 · 主从复制链路与 HA 高可用
复制 = 主库 binlog 经 Dump/IO/SQL 三线程在从库回放，并行复制按 logical clock 或 writeset 多 worker 落库；半同步换至少一副本收到的耐久，HA 负责探活升主与脑裂防护、GTID 切换与读写分离粘滞——写后读一致性与广告配置投放正确性的交汇点。
-
MySQL 内核深挖 · EXPLAIN 计划与慢查询优化
慢查询治理 = 读懂 EXPLAIN 执行计划 + 让谓词与索引形状匹配 + 控制扫描行数与排序临时表；索引失效高频因、优化器统计过期与选错索引、JOIN 驱动顺序与 Hash Join、深分页 keyset 与延迟关联、慢日志治理闭环与回归门禁——报表慢查询与广告配置库的性能边界。
-
特征工程系统化框架：能用哪些料、料从哪进、料坏了怎么报警
「数据与特征工程系列」第 2 篇：用「后厨的三张清单」拆解一套工业级特征体系——特征使用方案（选哪些料 + 可用性评估）、特征获取方案（离线/在线分层获取）、特征监控方案（时效性/覆盖率/异常值 + 有效性分析 + 降级闭环），全程用美团点击下单率预估做实例。