我应该如何订购这些“有帮助”的产品？分数？

Question

在我的网站上用户生成的帖子下，我有一个类似亚马逊的评级系统：

   Was this review helpful to you: Yes | No

如果有投票，我会在该行上方显示结果，如下所示：

   5 of 8 people found this reply helpful.

我想根据这些排名对帖子进行排序。如果您按照从最有帮助到最没有帮助的顺序进行排名，您会如何排列以下帖子？

   a) 1/1 = 100% helpful
   b) 2/2 = 100% helpful
   c) 999/1000 = 99.9% helpful
   b) 3/4 = 75% helpful
   e) 299/400 = 74.8% helpful

显然，仅根据有用百分比进行排序是不对的，应该以某种方式将总票数考虑在内。是否有标准方法可以做到这一点？

更新：

使用 Charles 的公式计算 Agresti-Coull 下限并对其进行排序，这就是上面示例的排序方式：

   1) 999/1000 (99.9%) = 95% likely to fall in 'helpfulness' range of 99.2% to 100%
   2) 299/400 (74.8%) = 95% likely to fall in 'helpfulness' range of 69.6% to 79.3%
   3) 3/4 (75%) = 95% likely to fall in 'helpfulness' range of 24.7% to 97.5%
   4) 2/2 (100%) = 95% likely to fall in 'helpfulness' range of 23.7% to 100%
   5) 1/1 (100%) = 95% likely to fall in 'helpfulness' range of 13.3% to 100%

直观上，这感觉是正确的。

更新2：

从应用程序的角度来看，我不想每次提取帖子列表时都运行这些计算。我想我要么按照定期的、cron 驱动的时间表更新和存储 Agresti-Coull 下限（仅更新自上次运行以来收到投票的帖子），要么在收到新投票时更新它。

Answer 1

对于每篇文章，请设定您期望它有多大帮助的界限。我更喜欢使用 Agresti-Coull 间隔。伪代码：

float AgrestiCoullLower(int n, int k) {
  //float conf = 0.05;  // 95% confidence interval
  float kappa = 2.24140273; // In general, kappa = ierfc(conf/2)*sqrt(2)
  float kest=k+kappa^2/2;
  float nest=n+kappa^2;
  float pest=kest/nest;
  float radius=kappa*sqrt(pest*(1-pest)/nest);
  return max(0,pest-radius); // Lower bound
  // Upper bound is min(1,pest+radius)
}

然后取估计的较低端并对其进行排序。因此，2/2（由 Agresti-Coull 提出）有 95% 的可能性落在“有用性”范围 23.7% 到 100% 内，因此它低于 999/1000，其范围为 99.2% 到 100%（因为 0.237 < .992）。

编辑：由于有些人似乎发现这很有帮助（哈哈），所以我要指出的是，可以根据您想要的自信/规避风险的程度来调整算法。您需要的信心越少，您就越愿意放弃“经过验证”（高票）的评论，而转向未经测试但高分的评论。 90% 置信区间得出的 kappa = 1.95996398，85% 置信区间得出的结果为 1.78046434，75% 置信区间得出的结果为 1.53412054，完全谨慎的 50% 置信区间得出的结果为 1.15034938。

50% 置信区间

1) 999/1000 (99.7%) = 50% likely to fall in 'helpfulness' range of 99.7% to 100%
2) 299/400 (72.2%) = 50% likely to fall in 'helpfulness' range of 72.2% to 77.2%
3) 2/2 (54.9%) = 50% likely to fall in 'helpfulness' range of 54.9% to 100%
4) 3/4 (45.7%) = 50% likely to fall in 'helpfulness' range of 45.7% to 91.9%
5) 1/1 (37.5%) = 50% likely to fall in 'helpfulness' range of 37.5% to 100%

总体上并没有太大不同，但它确实更喜欢 2/2，而不是 3/4 的安全性。

Answer 2

这个问题可能最好在 http://stats.stackexchange.com 上提出。

我猜你仍然想通过增加“帮助”来订购。

如果您想知道给定数字的精确度，最简单的方法是使用 二项分布，其中 n 等于响应总数，p 为“有帮助”的响应分数。

Answer 3

一个非常简单的解决方案是忽略所有少于截止票数的内容，然后按百分比排序。

例如（需要至少五票）

   1.  99.9% (1000 votes)
   2.  74.8%  (400 votes)
   3-5.  waiting for five votes

Answer 4

这取决于预期的积极反馈率和平均投票人数。
如果像你给出的例子一样，有时会有 5 到 10 人投票，有时有 1000 人投票，那么我会建议威尔逊中点：

(x+z^2/2)/(n+z^2)    The midpoint of the Adjusted Wald Interval / Wilson Score

where:
n = Sum(all_votes),  
x = Sum(positive_votes) / n, 
z = 1.96 (fixed value)