抛弃统计检验:A/B测试完全可以用模拟来完成
还没发文章的小羊
2024-11-18 15:11:36
来源于Mazzanti
为什么模拟比传统统计方法更优:更容易理解、更灵活、且具有经济意义
公司广泛使用 A/B 测试等对照实验。然而,很多人因为一些令人生畏的统计术语而对 A/B 测试望而却步,这些术语包括"置信度"、"检验力"、"p 值"、"t 检验"、"效应量"等。
在这篇文章中,我将向你展示:理解 A/B 测试并不需要统计学硕士学位 - 恰恰相反。事实上,模拟可以替代那些在100年前必需的大多数统计工具。不仅如此:我还会展示,实验的可行性可以用一种公司里每个人都能理解的方式来衡量 - 用金钱,而不是"置信度"和"检验力"。
从整体评估标准(OEC)开始
假设你的网站有一个结账页面。机器学习团队开发了一个新的推荐模型。他们声称,通过在结账页面嵌入他们的推荐,我们可以将收入提高惊人的5%。
他们的想法是进行一个 A/B 测试,随机选择两组用户:
• 对照组:用户会进入现有的结账页面
• 实验组:用户会进入包含推荐功能的新页面
在 A/B 测试中,用来评估实验结果的指标被称为整体评估标准(OEC)。由于我们想要测量对照组和实验组之间的平均用户支出变化,一个合理的 OEC 可以是:
OEC = (实验组平均支出 - 对照组平均支出)/对照组平均支出
这个 OEC 将用来评估新页面是否优于旧页面。
所以,如果我们的 OEC 结果是+5%,这是否意味着新页面带来的收入比旧页面高5%呢?
更多内容见图中
0
阅读：0
谢十八
求原文