了解贝叶斯定理

Question

我正在研究朴素贝叶斯分类器的实现。 集体智能编程通过将贝叶斯定理描述为以下内容来介绍此主题：

Pr(A | B) = Pr(B | A) x Pr(A)/Pr(B)

以及与文档分类相关的具体示例：

Pr(Category | Document) = Pr(Document | Category) x Pr(Category) / Pr(Document)

我希望有人能向我解释一下这里使用的符号，Pr(A | B) 和 Pr(A) 是什么意思？它看起来像某种函数，但是管道（“|”）是什么意思等等？

Answer 1

• Pr(A | B) = 假设 B 已经发生，则 A 发生的概率
• Pr(A) = A 发生的概率

但以上是关于条件概率的计算。你想要的是一个分类器，它利用这个原理，根据之前的概率来决定某物是否属于某个类别。

有关完整示例，请参阅 http://en.wikipedia.org/wiki/Naive_Bayes_classifier

Answer 2

我认为他们已经让你了解了基础知识。

Pr(A | B) = Pr(B | A) x Pr(A)/Pr(B)

读作：给定 B 的 A 的概率等于给定 A 的 B 的概率乘以 A 的概率除以 B 的概率。通常当您可以测量 B 的概率并且试图找出 B 是否成立时使用它或者，换句话说，我们确实关心A，但我们可以更直接地衡量B，所以让我们从我们可以衡量的开始。

让我给你一个推导，使编写代码变得更容易。它来自Judea Pearl。我对此有些挣扎，但当我意识到 Pearl 如何帮助我们将理论转化为代码后，我的灵光就亮了。

先验赔率：

O(H) = P(H) / 1 - P(H)

似然比：

L(e|H) = P(e|H) / P(e|¬H)

后验赔率：

O(H|e) = L(e|H)O(H)

在英语中，我们说您对某件事感兴趣的赔率（H 表示假设）就是您发现某件事为真的次数除以您发现它不为真的次数。说实话。假设每天有 10,000 所房屋中有一所被抢劫。这意味着在不考虑任何其他证据的情况下，您有 1/10,000 的机会被抢劫。

下一步是衡量您正在查看的证据。当你的问题为真时看到你所看到的证据的概率是多少除以当你的问题不为真时看到你所看到的证据的概率。假设您听到防盗警报器响起。当警报应该响时（警报响起时有人打开窗户）与不应该响时（风将警报关闭），您多久会收到警报？如果窃贼触发警报的可能性为 95%，其他事物触发警报的可能性为 1%，则可能性为 95.0。

你的总体信念只是可能性 * 先验赔率。在这种情况下，它是：

((0.95/0.01) * ((10**-4)/(1 - (10**-4))))
# => 0.0095009500950095

我不知道这是否会让事情变得更清楚，但是使用一些代码来跟踪先前的赔率，其他代码来查看可能性，以及多一段代码来处理往往会更容易。结合这些信息。

Answer 3

我已经用Python实现了它。这很容易理解，因为贝叶斯定理的所有公式都在单独的函数中：

#Bayes Theorem

def get_outcomes(sample_space, f_name='', e_name=''):
    outcomes = 0
    for e_k, e_v in sample_space.items():
        if f_name=='' or f_name==e_k:
            for se_k, se_v in e_v.items():
                if e_name!='' and se_k == e_name:
                    outcomes+=se_v
                elif e_name=='':
                    outcomes+=se_v
    return outcomes

def p(sample_space, f_name):
    return get_outcomes(sample_space, f_name) / get_outcomes(sample_space, '', '')

def p_inters(sample_space, f_name, e_name):
    return get_outcomes(sample_space, f_name, e_name) / get_outcomes(sample_space, '', '')

def p_conditional(sample_space, f_name, e_name):
    return p_inters(sample_space, f_name, e_name) / p(sample_space, f_name)

def bayes(sample_space, f, given_e):
    sum = 0;
    for e_k, e_v in sample_space.items():
        sum+=p(sample_space, e_k) * p_conditional(sample_space, e_k, given_e)
    return p(sample_space, f) * p_conditional(sample_space, f, given_e) / sum

sample_space = {'UK':{'Boy':10, 'Girl':20},
                'FR':{'Boy':10, 'Girl':10},
                'CA':{'Boy':10, 'Girl':30}}

print('Probability of being from FR:', p(sample_space, 'FR'))
print('Probability to be French Boy:', p_inters(sample_space, 'FR', 'Boy'))
print('Probability of being a Boy given a person is from FR:', p_conditional(sample_space, 'FR', 'Boy'))
print('Probability to be from France given person is Boy:', bayes(sample_space, 'FR', 'Boy'))

sample_space = {'Grow' :{'Up':160, 'Down':40},
                'Slows':{'Up':30, 'Down':70}}

print('Probability economy is growing when stock is Up:', bayes(sample_space, 'Grow', 'Up'))

Answer 4

Pr(A | B)：A 的条件概率：即 A 的概率，假设我们只知道 B

Pr(A)：A 的先验概率

Answer 5

Pr 是概率，Pr(A|B) 是条件概率。

查看维基百科了解详细信息。

Answer 6

竖线 (|) 表示“给定”。
给定 B 时 A 的概率等于给定 A x Pr(A)/Pr(B) 时 B 的概率

Answer 7

管道用于表示条件概率。
Pr(A | B) = 给定 B 时 A 的概率

示例：
假设您感觉不舒服，并且上网查找症状。互联网告诉您，如果您有这些症状，那么您就患有 XYZ 疾病。

在这种情况下：
Pr(A | B) 是您想要找出的内容，即：
鉴于您有某些症状，您患有 XYZ 的可能性。

Pr(A) 是患有 XYZ 疾病的概率

Pr(B) 是患有这些症状的概率

Pr(B | A) 是您从互联网上找到的，即：
鉴于您患有这种疾病，出现症状的可能性。