Question

2.1 广义线性模型的函数定义

1. 考虑单调可微函数 $ MathJax-Element-143 $ ，令 $ MathJax-Element-103 $ ，这样得到的模型称作广义线性模型 (generalized linear model)。

   其中函数 $ MathJax-Element-143 $ 称作联系函数 (link function) 。

2. 对数线性回归是广义线性模型在 $ MathJax-Element-105 $ 时的特例。即： $ MathJax-Element-106 $ 。

   • 它实际上是试图让 $ MathJax-Element-107 $ 逼近 $ MathJax-Element-152 $ 。
   • 它在形式上仍是线性回归，但是实质上是非线性的。

2.2 广义线性模型的概率定义

1. 如果给定 $ MathJax-Element-115 $ 和 $ MathJax-Element-110 $ $ MathJax-Element-152 $ 的条件概率分布 $ MathJax-Element-112 $ 服从指数分布族，则该模型称作广义线性模型。

   指数分布族的形式为： $ MathJax-Element-113 $ 。

   • $ MathJax-Element-293 $ 是 $ MathJax-Element-115 $ 的线性函数： $ MathJax-Element-123 $
   • $ MathJax-Element-117 $ 为 $ MathJax-Element-152 $ 的函数
   • $ MathJax-Element-119 $ 为 $ MathJax-Element-293 $ 的函数

2.3 常见分布的广义线性模型

2.3.1 高斯分布

1. 高斯分布：

   $ p(y)=\frac {1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(y-\mu)^2}{2\sigma^2}\right) =\frac {1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{y^2}{2\sigma^2}\right)\exp\left(\frac{\mu}{\sigma^2}\times y-\frac{\mu^2}{2\sigma^2}\right) $

   令：

   $ b(y)=\frac {1}{\sqrt{2\pi}\sigma}\times \exp\left(-\frac{y^2}{2\sigma^2}\right)\\ T(y)=y\\ \eta=\frac{\mu}{\sigma^2}\\ a(\eta)=\frac{\mu^2}{2\sigma^2} $

   则满足广义线性模型。

2.3.2 伯努利分布

1. 伯努利分布（二项分布， $ MathJax-Element-152 $ 为 0 或者 1，取 1的概率为 $ MathJax-Element-122 $ ）：

   $ p(y;\phi)=\phi^y(1-\phi)^{1-y}=\exp\left(y\ln\frac{\phi}{1-\phi}+ln(1-\phi)\right) $

   令：

   $ b(y)=1\\ \eta=\ln\frac{\phi}{1-\phi}\\ T(y)=y\\ a(\eta)=-\ln(1-\phi) $

   则满足广义线性模型。

2. 根据 $ MathJax-Element-123 $ ，有 $ MathJax-Element-124 $ 。 则得到：

   $ \phi=\frac{1}{1+\exp(-\mathbf{\vec w}^T\mathbf{\vec x})} $

   因此 logistic 回归属于伯努利分布的广义形式。

2.3.3 多元伯努利分布

1. 假设有 $ MathJax-Element-125 $ 个分类，样本标记 $ MathJax-Element-126 $ 。每种分类对应的概率为 $ MathJax-Element-127 $ 。则根据全概率公式，有

   $ \sum_{i=1}^{K}\phi_i=1\\ \phi_K=1-\sum_{i=1}^{K-1}\phi_i $

   • 定义 $ MathJax-Element-128 $ 为一个 $ MathJax-Element-129 $ 维的列向量：

     $ T(1)=\begin{bmatrix}1\\0\\0\\ \vdots\\0\end{bmatrix}, T(2)=\begin{bmatrix}0\\1\\0\\ \vdots\\0\end{bmatrix}, \cdots, T(K-1)=\begin{bmatrix}0\\0\\0\\ \vdots\\1\end{bmatrix}, T(K)=\begin{bmatrix}0\\0\\0\\ \vdots\\0\end{bmatrix} $

   • 定义示性函数 : $ MathJax-Element-130 $ 表示属于 $ MathJax-Element-213 $ 分类； $ MathJax-Element-132 $ 表示不属于 $ MathJax-Element-213 $ 分类。则有： $ MathJax-Element-134 $

   • 构建概率密度函数为：

     $ p(y;\phi)=\phi_1^{I(y=1)}\times \phi_2^{I(y=2)}\times\cdots\times\phi_K^{I(y=K)}\\ =\phi_1^{I(y=1)}\times\phi_2^{I(y=2)}\times\cdots\times\phi_K^{1-\sum_{i=1}^{K-1}I(y=i)}\\ =\phi_1^{T(y)_1}\times\phi_2^{T(y)_2}\times\cdots\times\phi_K^{1-\sum_{i=1}^{K-1}T(y)_i}\\ =\exp\left(T(y)_1\times\ln\phi_1+T(y)_2\times\ln\phi_2+\cdots+(1-\sum_{i=1}^{K-1}T(y)_i)\times\ln\phi_K\right)\\ =\exp\left(T(y)_1\times\ln\frac{\phi_1}{\phi_K}+T(y)_2\times\ln\frac{\phi_2}{\phi_K}+\cdots+T(y)_{K-1}\times\ln\frac{\phi_{K-1}}{\phi_K}+\ln\phi_K\right) $

   • 令

     $ \eta=(\ln\frac{\phi_1}{\phi_K},\ln\frac{\phi_2}{\phi_K},\cdots,\ln\frac{\phi_{K-1}}{\phi_K})^T $

     则有：

     $ p(y;\phi)=\exp\left(\eta\cdot T(y)+\ln \phi_K\right) $

     令 $ MathJax-Element-135 $ ，则满足广义线性模型。

2. 根据：

   $ \eta_i=\ln \frac{\phi_i}{\phi_K} \rightarrow \phi_i=\phi_Ke^{\eta_i} $

   则根据：

   $ 1=\sum_{i=1}^{K}\phi_i=\phi_K\left(1+\sum_{i=1}^{K-1}e^{\eta_i}\right)\rightarrow \phi_K=\frac{1}{1+\sum_{i=1}^{K-1}e^{\eta_i}} $

   于是有：

   $ \phi_i=\begin{cases} \frac{e^{\eta_i}}{1+\sum_{j=1}^{K-1}e^{\eta_j}},&i=1,2,\cdots,K-1\\ \frac{1}{1+\sum_{j=1}^{K-1}e^{\eta_j}},&i=K\\ \end{cases} $

   .