辛普森悖论在AB测试中意味着什么?

This article from Microsoft 给出了软件测试中辛普森悖论的一个非常清晰的例子。

您能否提供一个合并和未合并数据的清晰示例以及测试的简要摘要?

如果A在单独的A/B测试中明显好于B,而B在总体上得分更好,那么主要的含义是 . A比较好。

如果测试每天都得到相同的结果,即使每天的样本量不同,你也不会得到明确的结果。所以我认为它还意味着 . 但它可能是任何东西。可能您每天测试的内容都发生了变化(可能是以某种非常微妙的方式,比如服务器速度)。或者你测试的对象改变了(也许是从人口统计学的角度,也许只是从他们的情绪角度)。这并不意味着你的测试是坏的或无效的。它只是意味着你在测量移动的物体,这让事情变得棘手。

认为 这也是必然的事实 . 也就是说,如果周一你测试了A 50次和B 50次,周二你测试了A 600次和B 600次,以此类推,A每天的得分都超过了B,那么我看不出在B战胜A的情况下,你怎么能得到一个综合结果。如果您的测试设置是这样的,那么它看起来确实像是您可以修复的东西,使您的数据更易于推理。

它实际上不是由外部因素或其他因素引起的。这仅仅是因为一个组更重要(因为组中有更多的元素)。