代码之家 › 专栏 › 技术社区 › Chuck Le Butt

谷歌网页优化器(A/B测试)为什么没有明确的赢家?

web-optimization ab-testing google-website-optimizer web

1

Chuck Le Butt · 技术社区 · 15 年前

我已经 previously asked how long it take for a winning combination to appear on google's web optimizer ,but now I have another奇怪的问题during a/b test:。

在过去的两天里,google已经宣布有一个“ 高信心获胜者 ”,该获胜者a 98.5% change of beating the original variation by 27.4% 。伟大的!

我决定让它继续运行,让绝对确定,但奇怪的事情发生了:今天谷歌说他们“还没有收集到足够的数据来显示任何重要的结果”(如下所示)。当然,数字略有变化,但仍然很高: 96.6% Chance of Beatting the Original by 22% 。

那么,为什么谷歌现在不那么确定呢?

如何从一个具有统计意义的“高信心”赢家变成没有足够的数据来计算一个呢?我的数字太小了,谷歌不能确定吗?

感谢您的洞察力!一个成功的组合出现需要多长时间 谷歌的网络优化器 但是现在我在A/B测试中遇到了另一个奇怪的问题:

在过去的两天里,谷歌已经宣布 高信心获胜者 “那有一个 98.5% 击败原始变种的机会 27.4% . 伟大的!

我决定让它继续运行 绝对地 当然,但发生了一些奇怪的事情:今天谷歌说他们“还没有收集到足够的数据来显示任何重要的结果”(如下所示)。当然,数字变了 轻微地 但是他们仍然很高: 96.6% 击败原作的机会 22% .

那么,为什么谷歌现在不那么确定呢?

如何从一个具有统计意义的“高信心”赢家变成没有足够的数据来计算一个呢?我的数字太小了,谷歌不能确定吗?

感谢您的洞察力!

1 回复 | 直到 15 年前

1

erikvold 15 年前

它怎么会从一个统计显著“高 “自信”的胜利者,没有足够的数据来计算一个?

所有的统计测试都有所谓的 p-value ,这是通过随机机会获得观察结果的可能性,假设测试内容之间没有差异。所以当你运行一个测试时,你需要一个小的p值,这样你就可以对你的结果有信心了。

因此,对于GWO,p值必须介于1.5%和3.4%之间(我猜是2.5%,至少在这种情况下,它可能取决于组合的数量)。

因此,当(100%的机会击败%)p-value时,GWO会说它没有收集足够的信息,如果组合有(100%的机会击败%)p-value,则会找到赢家。显然,如果这条线刚刚被跨越,那么它可以很容易地用更多的数据返回。

为了进行总结,您不应该经常检查结果,您应该设置一个测试,然后长时间忽略它,然后检查结果。

我的数字对谷歌来说太小了吗? 绝对肯定还是什么?

不