心理学、配色、文案、视觉构图 每一篇都落到一句话：别信直觉，用数据校准。DCO 更是把”哪版更好”变成了核心问题。那问题来了——怎么科学地验证一个创意到底有没有用？ 这一篇就是整个系列的方法论收口：从提出假设到量出真实增量。
这是 创意设计与合规系列 的第六篇，是前面所有”创意直觉”的检验关口，往后接收官的 地区政策与合规。
TL;DR
- 实验是闭环：提出可证伪的假设 → 随机分流 A/B → 收集到足够样本 → 显著性判定 → 决策/迭代，赢家成为下一轮基线。
- 一次只改一个变量：同时改标题+主图，赢了也不知道是谁的功劳（除非用多因素/MVT 设计并留意交互）。
- 样本量要先估、跑够再看：“偷看到显著就停” 会大幅抬高假阳性（peeking problem）。
- 看三样再下结论：效应量（差多少）、置信区间是否跨 0、p 值或贝叶斯后验；再叠加业务显著性——涨 0.1% 值得换吗？
- 区分代理指标与结果指标：CTR/CVR 是代理（快但会骗人），ROAS/CPA/品牌 Lift 才是结果（慢但接近真实生意价值）。
- 有效性的金标准是增量：用 holdout / Ghost Ads / Conversion Lift 对比空白组量增量，而非事后相关——“看过广告的人转化高”常是选择偏差。
- 三方视角看度量：广告主要 ROI 真相、媒体要可信的效果口径、用户要实验合乎伦理——透明、可复核的度量是三方共同的地基。
Table of contents
Open Table of contents
1. 实验闭环：从假设到迭代
好的创意测试不是”上两版看哪个数据好看”，而是一个有纪律的闭环。
一次只改一个变量，样本量先估、跑够再看；赢家成为下一轮基线，持续迭代。
- ① 提出假设：写成可证伪的形式——“把 CTA 从’了解更多’改成’免费试用’，会提升注册率”，而不是”这个更好看”。假设要能被数据推翻。
- ② 随机分流：把流量随机分到 A/B，保证两组用户在其他因素上可比。同期运行，避免时段/大盘差异污染结论。
- ③ 收集数据：跑到预先估算的样本量。样本不足时的”胜负”多半是噪声。
- ④ 显著性判定：到量再看，判断差异是真实还是偶然（见 §2）。
- ⑤ 决策/迭代：采用赢家、或带着新假设再试一轮。赢家成为下一轮的基线（baseline/control），持续逼近更优。
一次只改一个变量：这样赢了才知道是谁的功劳。若要同时测多个要素，用多变量测试（MVT） 或因子设计，但要意识到组合会让所需样本量急剧上升，且需检查要素间交互效应——这也是 DCO 组合爆炸难以逐一验证的原因。
2. 样本量与显著性：在噪声里辨别真信号
同样两版素材，跑 100 次曝光的”20% vs 22%“几乎没有意义，跑 100 万次才可能是真差异。原因是转化本身是随机的，观测值总带噪声。
分布越窄（样本越大）、两峰越分得开，观测到的差异越可能是真实而非偶然噪声。
判定时看三样，缺一不可：
- 效应量（effect size）：两组差多少。差异方向对但幅度极小，往往没有业务意义。
- 不确定性：置信区间是否跨过 0（跨 0 = 可能没差别）；或 p 值是否小于预设显著性水平（常用 0.05）；贝叶斯视角则看”B 优于 A 的后验概率”。
- 业务显著性：统计显著 ≠ 值得做。涨 0.1% 却要重做整套素材、增加维护成本，可能不划算。
样本量算一遍：一条常用的经验公式是每组
n ≈ 16·p(1−p) / δ²（约对应 5% 显著性、80% 检验力）。设基线转化率p = 2%、想检出到2.2%（绝对差δ = 0.2个百分点）：n ≈ 16 × 0.02 × 0.98 / 0.002² ≈ 78,000 次/组，两组合计约 15.6 万次曝光。想检出更小的差异，样本量按δ²反比暴涨——差异减半，样本量就翻两番。所以第一步永远是先估样本量，再决定这个实验值不值得跑、要跑多久。
两个最常见的坑：
- 偷看（peeking）：一边跑一边反复看、“看到显著就停”，会把假阳性率从 5% 抬到很高。对策：预先定样本量与停止规则，或使用序贯检验 / 贝叶斯等允许持续监控的方法（“always-valid” 推断在工业界的工程化，见 Johari, Pekelis & Walsh, 2017）。
- 多重比较：同时测很多变体，总有一个”碰巧”显著。对策：校正（如 Bonferroni）或控制错误发现率（FDR）。
3. 指标阶梯：代理指标会骗人
选错指标，实验做得再规范也会把你带沟里。指标有一条从”快而浅”到”慢而真”的阶梯。
越往上越接近真实生意价值，但也越慢、越难归因；别只优化”点得爽”的代理指标。
- 曝光 / 可见曝光（viewability）：广告有没有真的被看到——连看都没被看到，谈效果无意义。
- CTR（点击率）：代理指标。它衡量”钩子吸不吸引点击”，但高 CTR 不等于赚钱——标题党能骗到点击却带不来转化，甚至拉低后端质量。
- CVR（转化率）：点击之后有没有完成目标动作，比 CTR 更接近价值。
- ROAS / CPA：结果指标。花出去的钱换回多少收入/以多少成本获得一次转化——更接近生意本质。
- 品牌 Lift / 增量：对比”没看过广告的人”，广告到底带来了多少额外的认知或转化（见 §4）。
警惕只优化代理指标：CTR、点赞这类指标快、好看、易优化，但它们只是通往价值的路标，不是价值本身。把 KPI 定在代理指标上，团队就会不自觉地去”优化点得爽”，而不是”优化赚到钱”。
4. 有效性的金标准：增量，而非相关
最隐蔽的错误是把相关当因果。“看过这条广告的人转化率更高”——听起来是广告有效，但很可能是选择偏差：本来就更可能买的人，才更可能去点广告。广告可能只是”抢功”。
要量出创意/广告的真实增量（incrementality），得有一个”没看到广告”的对照组：
- Holdout（保留组）：随机留出一部分本可触达的用户不投广告，对比两组的转化差，就是广告带来的增量。
- Ghost Ads / PSA 对照：在实验组投真广告的同时，对对照组记录”本该中标展示的时刻”（Ghost Ads，见 Johnson, Lewis & Nubbemeyer, 2017, Journal of Marketing Research）或投放公益广告（PSA），从而在同等”本可触达”人群上做干净对比。
- Conversion Lift / Brand Lift：各大平台提供的增量/品牌提升测量产品，本质都是随机对照实验（RCT）思想的工程化。
这与 DCO 的探索-利用、推荐排序 的线上实验一脉相承：能做随机对照，就别用事后相关下因果结论。
5. 三方视角看度量
度量口径是三方博弈最集中的地方——同一场投放，算法不同，“有效”与否可以天差地别。用 心理学篇 §1 的三方视角 看：
| 角色 | 在乎什么 | 度量诉求 | 常见冲突 |
|---|---|---|---|
| 广告主 | 真实 ROI、别浪费预算 | 增量口径、去除选择偏差 | 只看归来的漂亮数字 → 被代理指标误导 |
| 媒体 / 平台 | 可信、可复核的效果 | 统一口径、第三方可验证 | 自证自评”既当运动员又当裁判” |
| 用户 | 实验合乎伦理、不被伤害 | 不做有害的 A/B、尊重隐私 | 拿用户做”暗黑模式”实验 → 伦理越界 |
- 透明可复核是共同地基：广告主要的是真相（增量），平台要的是可信（第三方/统一口径），二者其实指向同一件事——别用会骗自己的指标。
- 实验也有伦理：A/B 测的是创意，不该测”怎么更狠地套路用户”。用实验去优化 暗黑模式 属于把方法论用歪；合规的实验只在助推范围内寻找更优表达，且尊重隐私（呼应 合规篇）。
- 平衡点：用增量实验给广告主真相、用统一可复核口径给平台公信、用伦理边界护住用户——度量越诚实，三方的信任越稳。
6. 常见误解 ↔ 正解
| 常见误解 | 正解 |
|---|---|
| 上两版看哪个数据高就行 | 先写可证伪假设、随机分流、跑够样本再判定 |
| 一次多改几处更高效 | 一次一变量；多变量要用 MVT 并查交互，样本量激增 |
| 看到显著就可以停 | 偷看抬高假阳性；预先定样本量与停止规则 |
| CTR 高就是好创意 | CTR 是代理，标题党能骗点击；要看 CVR/ROAS/增量 |
| 看过广告的人转化高=广告有效 | 可能是选择偏差；用 holdout/Ghost Ads 量增量 |
| 统计显著就该采用 | 还要业务显著：涨幅是否值得成本与维护 |
7. 收尾：一个反直觉的教训
经济学家 Randall Lewis 与 Justin Rao 分析了 25 个大规模真实广告实验，得出一个让业界不安的结论：很多广告的真实回报，小到用观察数据几乎测不出来（“The Unfavorable Economics of Measuring the Returns to Advertising”, QJE 2015）。他们发现 ROI 的置信区间中位数宽达 100 多个百分点、个体销售的变异系数常高达 10；要把广告效果测准，实验动辄需要上千万人·周的样本。原因正是本文反复强调的——转化的自然波动（噪声）常常大于广告带来的那点增量，而”看过广告的人转化更高”里又混着大量选择偏差。
这件事的教训不是”广告没用”，而是三条硬道理：
- 别被漂亮的事后数字骗了：归因面板上的高 ROAS，可能大半是”本来就会发生的转化”在抢功。
- 能做随机对照，就别用相关：只有 holdout / Ghost Ads 这类实验，才能把”广告的功劳”从”用户本来的意愿”里剥出来。
- 对小效应保持谦逊：真实增量往往只是个位数百分比，需要足够大的样本才测得准——这正是 §1 的纪律和 §2 的样本量为什么不能省。
好的度量，目的不是”证明广告有用”，而是诚实地量出它到底有多有用——哪怕答案不好看。这份诚实，也是下一关的底色：创意再好、验证再严谨，投出去之前还得过最后一道门——各地区的广告政策与合规，整个系列的收官，也是所有创意的底线。
参考文献 / 延伸阅读
- Lewis, R. A. & Rao, J. M. (2015). “The Unfavorable Economics of Measuring the Returns to Advertising.” Quarterly Journal of Economics, 130(4), 1941–1973.——SSRN（噪声、选择偏差、天量样本）
- Johnson, G. A., Lewis, R. A. & Nubbemeyer, E. I. (2017). “Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness.” Journal of Marketing Research, 54(6).（干净的增量对照）
- Johari, R., Pekelis, L. & Walsh, D. J. (2022). “Always Valid Inference: Continuous Monitoring of A/B Tests.” Operations Research.（解决”偷看”问题）
- Kohavi, R., Tang, D. & Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.（在线实验实战权威）
创意设计与合规系列 · 建议按序阅读
- 用户心理学与行为哲学——懂人
- 创意配色——用色
- 文案与排版——用字
- 视觉构图与动态创意——构图与动
- DCO 动态创意优化与创意疲劳——规模化
- 创意 A/B 测试与有效性度量（本篇）——用数据验证
- 地区政策与合规——守边界
完整阅读路径见系列页。