如何计算几个目标转化率的统计显着性？
我正在制作一个 python/django 分割测试或 a/b 测试库供我自己使用。但是我不知道如何计算我的测试是否具有统计显着性。我没有统计学知识，所以我无法理解大多数维基百科文章或有关此主题的网页，因此我正在向程序员同事寻求帮助。
我有一个简单的实验，有 4 个选项，并且有一些用户使用它的数据。每个用户都有 4 个选项之一（为了便于论证，我们可以在控件上调用第一个选项）。每个用户要么成功，要么失败，所以我知道每个选项的转化率。我如何确定我的测试是否具有统计显着性，或者是否只是随机的。
基本上我的输入将是 [ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)]，并且很容易计算出每个选项的转化率，即使每个与 a 相比表现如何，但我如何计算出它的统计显着性，以便我知道这个测试是否告诉我什么，或者我是否应该继续让它运行并收集更多数据。
我看过一些关于在只有 2 个选项（传统的 a/b 测试）时使用某些公式的指南，但我希望这个库能够处理多个选项。是否可以用多个值计算统计显着性？
本质上，我正在尝试做类似的事情 http://mixpanel.com/labs/split -test-calculator 但在 python 中。如果有一些 python 库我可以“pip install ...”
I am making a python/django split testing or a/b testing library for my own use. However I don't know how to calculate if my test is statisically significant. I have no knowledge of statistics, so I cannot understand most wikipedia articles, or web pages on this topic, so I'm looking for help from my fellow programmers.
I have a simple experiment with 4 options and I have some data of users using it. Each user is in one of 4 options (for the sake of argument we can call the first on the control). Each user either was a success or failure, so I know the conversion rate of each option. How do I figure out if my test is statisically significant, or if it's all just random.
Essentially my input will be [ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)], and it's easy to figure out the conversion rate for each option, even how well each one does compared to a, but how do I figure out the statistical significance of it so I can know if this test is telling me anything, or if I should continue to let it run and collect more data.
I've seen some guides on using some formulæ when there are only 2 options (the traditional a/b test), but I want this library to handle multiple options. Is it even possible to calculate statistical significance with multiple values.
Essentially, I'm trying to do something similar to this http://mixpanel.com/labs/split-test-calculator but in python. Bonus points if there's some python library I can just "pip install …"
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
我相信您需要的是独立性的卡方检验。对于每种治疗，您都会有一个“是”计数和一个“否”计数（
总计 - 是）。该方法在此处以及其他地方进行了描述。Scipy 有一个函数可以完成这项艰苦的工作： http://docs.scipy.org/doc/scipy/reference/ generated/scipy.stats.chi2_contingency.html#scipy.stats.chi2_contingency
I believe what you need is a chi-squared test of independence. For each treatment, you have a yes count and a no count (
total - yes). The method is described here, among other places.Scipy has a function to do the hard work: http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.chi2_contingency.html#scipy.stats.chi2_contingency