如何编写一个函数来比较多组布尔（真/假）答案并对其进行排名？

Question

我已经开始了一个项目，事实证明它比我最初想象的要复杂得多。我正在尝试规划一个基于布尔（真/假）问题和答案的系统。系统上的用户可以回答大量布尔（真/假）问题中的任何问题，并根据他们的答案看到一个显示最相似用户（按相似度顺序排列）的列表。

我在谷歌上搜索了很多，但仍然没有得到太多结果，所以我希望有人能给我指出正确的方向。我想知道：

存储此类数据的最佳数据结构和方法是什么？我最初假设我可以在 SQL 数据库中创建两个表“问题”和“答案” 。但是，我不知道如果两组答案都列为数字字符串，比较它们是否会更简单。即 0 = 未回答，1 = 正确，2 = 错误。比较字符串时，可以添加“未回答”= 0、“相同答案”= 1、“相反答案”= -1 的权重，从而产生相似性分数。

我将如何比较两组答案？为了能够计算出这组答案之间的“相似性”，我必须编写一个比较函数。有谁知道哪种比较最适合这个问题？我研究过序列比对，我认为这可能是正确的方法，但我我不确定，因为这需要数据处于很长的序列中，而且问题不相关，因此自然不是一个序列。

如何将此比较函数应用于大量数据？ 一旦我编写了比较函数，我就可以将每个用户的答案与其他用户的答案进行比较，但这似乎不是很有效并且可能不会很好地扩展。我一直在研究集群分析方法来根据相似的答案自动对用户进行分组，你喜欢吗？认为这可行，或者有人知道我可以研究的更好方法吗？

我真的很感激任何有用的指示。谢谢！

Answer 1

如果您要在 SQL 中设置用户、问题和答案表，那么我相信以下 SQL 可用于让其他用户获得类似的响应。只需添加一个 TOP 子句即可获取所需的数字。

我不知道性能如何，但这在很大程度上取决于数据的大小。

SELECT
    U2.userid,
    SUM(CASE
            WHEN A1.answer = A2.answer THEN 1
            WHEN A1.answer <> A2.answer THEN -1
            WHEN A1.answer IS NULL OR A2.answer IS NULL THEN 0  -- A bit redundant, but I like to make it clear
            ELSE 0
        END) AS similarity_score
FROM
    Questions Q
LEFT OUTER JOIN Answers A1 ON
    A1.question_id = Q.question_id AND
    A1.userid = @userid
LEFT OUTER JOIN Answers A2 ON
    A2.question_id = A1.question_id AND
    A2.userid <> A1.userid
LEFT OUTER JOIN Users U2 ON
    U2.userid = A2.userid
GROUP BY
    U2.userid
ORDER BY
    similarity_score DESC

Answer 2

数据存储：
我想说数据库是一个好主意（听起来像是一个相当大的数据集的潜力）。我不知道您计划提出多少问题，但为了帮助简化分析（包括 SQL 查询），您可能需要将类似问题的答案分组到单独的表中。我同意使用数值（字节 0-2）而不是布尔值或其他值是一个很好的选择。您正在计算相似度分数，因此不妨从数字开始。

比较：
就比较本身而言，我建议创建一个包含字节列表的SimilarQuestionAnswers类和一个包含这些SimilarQuestionAnswers列表的UserAnswers类。其作用是为您提到的聚类分析方法设置聚类。通过这种方式，您可以增加某些集群的权重。 （集群 a 是一个重要集群，因此它的分数乘以 20，而集群 b 不那么重要，因此它的分数仅乘以 10）这还允许您在需要时对每个集群应用不同的比较。

我知道您说过这些问题不相关，但您至少仍然可以按问题的重要性对问题进行分组。我认为序列分析仍然可以工作，假设你的相似度矩阵全为 1，这样可以稍微简化问题，但与之相关的其余数学应该足够了。

应用比较：
这就是数据库后端派上用场的地方。使用 SQL 查询来最小化您正在处理的数据集。如果您要将一个人与其他人进行比较，您可以对他们的答案使用 SQL sum 方法，以在每个集群内进行快速而粗略的比较，并仅提取特定阈值内的比较。这可能会导致一些重叠，但很容易消除。

另一个想法是为每个用户建立一个表，为每个集群建立一个列，并与对每个问题回答正确的假用户进行比较。然后，您可以查询该表以获取每个集群当前用户分数的范围。这可能会更快但不太准确。

无论哪种方式，最终您仍然需要对从该查询中获得的每个用户进行比较。因此，进行比较的速度越快越好。尝试坚持只涉及 +、-、*、/ 的公式。大多数 Math.Whatever() 方法会在大量调用时增加大量时间。

抱歉，这太长了，大多数问题都是开放式的，我不得不假设一些细节。我希望这有帮助。

Answer 3

我认为您可能想要一个基于所有用户响应方式的每个问题的权重。作为一个极端的情况，如果 1,000 人回答问题 A 和B，结果是 A (2Y, 998N) 和 B (500Y, 500N)，A 的两个 Y 的数量比 B 中任何给定的 Y 对要多得多。并且 B 中的任何相似对都比任何一对 Y 更相似A 中的一对 N。

查看贝叶斯概率

Answer 4

除了对用户进行聚类之外，您还可以考虑对问题进行聚类（例如 OkCupid）。然后，您不再比较用户的所有答案，而是比较它们的类别。