代码之家 › 专栏 › 技术社区 › Chuck Le Butt

google web优化器-要多久才能成功组合?

web-optimization google-website-optimizer ab-testing web

2

Chuck Le Butt · 技术社区 · 16 年前

我参加了A/B测试 谷歌网络优化器 六个星期了,仍然看不到尽头。谷歌仍在说:“我们还没有收集到足够的数据来显示任何重大的结果。当我们收集更多的数据时,我们应该能够向您展示一个成功的组合。”

有没有什么方法可以说明谷歌离下定决心有多近?(是否有人知道它使用什么算法来决定是否有“高信心赢家”?

根据谷歌帮助文档:

有时我们只需要更多的数据能够达到很高的水平信心。经过测试的组合通常需要大约200个转换让我们来评判它的表现确定性。

但我们所有的转换目前都有200多个对话:

230/4061(原件)
223/3937(变更1)
205/3984(变更2)
205/4007(变更3)

还要跑多久??

谢谢你的帮助。

1 回复 | 直到 16 年前

1

2

erikvold 16 年前

有没有什么方法可以说明谷歌离下定决心有多近?

您可以使用GWO计算器根据您提供的一些假设来帮助确定测试需要多长时间。请记住,尽管您的测试组合之间可能没有显著的差异,但在这种情况下,要查看哪一个测试是最好的,需要花费无限的时间,因为找不到赢家。

(是否有人知道它使用什么算法来决定是否有“高信心赢家”?

That is a mystery 但是,对于大多数(如果不是全部)统计测试来说,有一个叫做p值的值,它是获得一个结果的概率,这个结果与单凭偶然观察到的结果一样极端。GwO测试一直运行到p值通过某个阈值,可能是5%。更清楚的是,GWO测试运行到组合明显优于原始组合,这样结果只有5%的几率是偶然发生的。

对于你的测试来说,似乎没有什么大赢家,这是平局。