Question

1. 在贝叶斯学派中，先验分布+数据（似然）= 后验分布 。

2. 例如：假设需要识别一大箱苹果中的好苹果、坏苹果的概率。

   • 根据你对苹果好、坏的认知，给出先验分布为：50个好苹果和50个坏苹果。

   • 现在你拿出10个苹果，发现有：8个好苹果，2个坏苹果。

     根据数据，你得到后验分布为：58个好苹果，52个坏苹果

   • 再拿出10个苹果，发现有：9个好苹果，1个坏苹果。

     根据数据，你得到后验分布为：67个好苹果，53个坏苹果

   • 这样不断重复下去，不断更新后验分布。当一箱苹果清点完毕，则得到了最终的后验分布。

   在这里：

   • 如果不使用先验分布，仅仅清点这箱苹果中的好坏，则得到的分布只能代表这一箱苹果。
   • 采用了先验分布之后得到的分布，可以认为是所有箱子里的苹果的分布。
   • 当采用先验分布时：给出的好、坏苹果的个数（也就是频数）越大，则先验分布越占主导地位。

3. 假设好苹果的概率为 $ MathJax-Element-462 $ ，则抽取 $ MathJax-Element-463 $ 个苹果中，好苹果个数为 $ MathJax-Element-460 $ 个的概率为一个二项分布：

   $ Binom(k\mid p;N)=C_N^kp^k(1-p)^{N-k} $

   其中 $ MathJax-Element-447 $ 为组合数。

4. 现在的问题是：好苹果的概率 $ MathJax-Element-462 $ 不再固定，而是服从一个分布。

   假设好苹果的概率 $ MathJax-Element-462 $ 的先验分布为贝塔分布： $ MathJax-Element-450 $ 。

   则后验概率为：

   $ P(p\mid k; N,\alpha,\beta)=\frac{P(k\mid p; N)\times P(p; \alpha,\beta)}{P(k; N,\alpha,\beta)} \\ \propto P(k\mid p; N)\times P(p; \alpha,\beta)=C_N^kp^k(1-p)^{N-k}\times \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}\\ \propto p^{k+\alpha-1}(1-p)^{N-k+\beta-1} $

   归一化之后，得到后验概率为：

   $ P(p\mid k;N,\alpha,\beta)=\frac{\Gamma(\alpha+\beta+N)}{\Gamma(\alpha+k)\Gamma(\beta+N-k)}p^{k+\alpha-1}(1-p)^{N-k+\beta-1}​ $

5. 好苹果概率 $ MathJax-Element-462 $ 的先验分布的期望为： $ MathJax-Element-452 $ 。好苹果概率 $ MathJax-Element-462 $ 的后验分布的期望为： $ MathJax-Element-454 $ 。

   • 根据上述例子所述：

     • 好苹果的先验概率的期望为 $ MathJax-Element-455 $
     • 进行第一轮数据校验之后，好苹果的后验概率的期望为 $ MathJax-Element-456 $

   • 如果将 $ MathJax-Element-457 $ 视为先验的好苹果数量， $ MathJax-Element-458 $ 视为先验的坏苹果数量， $ MathJax-Element-463 $ 表示箱子中苹果的数量， $ MathJax-Element-460 $ 表示箱子中的好苹果数量（相应的， $ MathJax-Element-461 $ 就是箱子中坏苹果的数量）。则：好苹果的先验概率分布的期望、后验概率分布的期望符合人们的生活经验。

   • 这里使用先验分布和后验分布的期望，因为 $ MathJax-Element-462 $ 是一个随机变量。若想通过一个数值来刻画好苹果的可能性，则用期望较好。

6. 更一般的，如果苹果不仅仅分为好、坏两种，而是分作尺寸1、尺寸2、...尺寸K等。则 $ MathJax-Element-463 $ 个苹果中，有 $ MathJax-Element-464 $ 个尺寸1的苹果、 $ MathJax-Element-465 $ 个尺寸2的苹果.... $ MathJax-Element-466 $ 个尺寸 $ MathJax-Element-483 $ 的苹果的概率服从多项式分布：

   $ Mult(m_1,m_2,\cdots,m_K;\vec\mu,N)=\frac{N!}{m_1!m_2!\cdots m_K!}\prod_{k=1}^{K}\mu_k^{m_k} $

   其中苹果为尺寸1的概率为 $ MathJax-Element-468 $ ， 尺寸2的概率为 $ MathJax-Element-469 $ ，... 尺寸 $ MathJax-Element-483 $ 的概率为 $ MathJax-Element-471 $ ， $ MathJax-Element-472 $

   • 假设苹果尺寸的先验概率分布为狄利克雷分布： $ MathJax-Element-473 $ 。

     苹果尺寸的先验概率分布的期望为： $ MathJax-Element-474 $ 。

   • 则苹果尺寸的后验概率分布也为狄里克雷分布： $ MathJax-Element-475 $ 。

     苹果尺寸的后验概率分布的期望为： $ MathJax-Element-476 $ 。