Question

1.1 问题

1. 给定数据集 $ MathJax-Element-66 $ ，其中 $ MathJax-Element-67 $ 。

   线性回归问题试图学习模型 ： $ MathJax-Element-68 $

   该问题也被称作多元线性回归(multivariate linear regression)

2. 对于每个 $ MathJax-Element-254 $ ，其预测值为 $ MathJax-Element-70 $ 。采用平方损失函数，则在训练集 $ MathJax-Element-317 $ 上，模型的损失函数为：

   $ L(f)=\sum_{i=1}^{N}\left(\hat y_i-\tilde y_i\right)^{2}=\sum_{i=1}^{N}\left(\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b-\tilde y_i\right)^{2} $

   优化目标是损失函数最小化，即： $ MathJax-Element-72 $ 。

1.2 求解

1. 可以用梯度下降法来求解上述最优化问题的数值解，但是实际上该最优化问题可以通过最小二乘法获得解析解。

2. 令：

   $ \mathbf {\vec{\tilde w}}=(w_{1},w_{2},\cdots,w_{n},b)^{T}=(\mathbf {\vec w}^{T},b)^{T}\\ \mathbf {\vec {\tilde x}}=(x_{1},x_{2},\cdots,x_{n},1)^{T}=(\mathbf {\vec x}^{T},1)^{T}\\ \mathbf {\vec y}=(\tilde y_1,\tilde y_2,\cdots,\tilde y_N)^{T} $

   则有：

   $ \sum_{i=1}^{N}\left(\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b-\tilde y_i\right)^{2}=\left(\mathbf {\vec y}- (\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}\mathbf {\vec{\tilde w}}\right)^{T}\left(\mathbf {\vec y}- (\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}\mathbf {\vec{\tilde w}}\right) $

   令：

   $ \mathbf X=(\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}=\begin{bmatrix} \mathbf {\vec {\tilde x}}_1^{T}\\ \mathbf {\vec {\tilde x}}_2^{T}\\ \vdots\\ \mathbf {\vec {\tilde x}}_N^{T}\\ \end{bmatrix}=\begin{bmatrix} x_{1,1}&x_{2,1}&\cdots&x_{n,1}&1\\ x_{1,2}&x_{2,2}&\cdots&x_{n,2}&1\\ \vdots&\vdots&\ddots&\vdots&1\\ x_{1,N}&x_{2,N}&\cdots&x_{n,N}&1\\ \end{bmatrix} $

   则：

   $ \mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}}) $

3. 令 $ MathJax-Element-73 $ 。为求得它的极小值，可以通过对 $ MathJax-Element-74 $ 求导，并令导数为零，从而得到解析解：

   $ \frac{\partial E_{\mathbf {\vec {\tilde w}}} }{\partial \mathbf {\vec{\tilde w}}} =2\mathbf X^{T}(\mathbf X\mathbf {\vec{\tilde w}}-\mathbf {\vec y})=\mathbf {\vec 0} \Longrightarrow \mathbf X^{T}\mathbf X\mathbf {\vec{\tilde w}}=\mathbf X^{T}\mathbf {\vec y} $

   • 当 $ MathJax-Element-85 $ 为满秩矩阵时，可得： $ MathJax-Element-76 $ 。

     其中 $ MathJax-Element-77 $ 为 $ MathJax-Element-78 $ 的逆矩阵。

     最终学得的多元线性回归模型为： $ MathJax-Element-79 $ 。

   • 当 $ MathJax-Element-85 $ 不是满秩矩阵。此时存在多个解析解，他们都能使得均方误差最小化。究竟选择哪个解作为输出，由算法的偏好决定。

     比如 $ MathJax-Element-81 $ （样本数量小于特征种类的数量），根据 $ MathJax-Element-82 $ 的秩小于等于 $ MathJax-Element-83 $ 中的最小值，即小于等于 $ MathJax-Element-201 $ （矩阵的秩一定小于等于矩阵的行数和列数）； 而矩阵 $ MathJax-Element-85 $ 是 $ MathJax-Element-205 $ 大小的，它的秩一定小于等于 $ MathJax-Element-201 $ ，因此不是满秩矩阵。

     常见的做法是引入正则化项：

     • $ MathJax-Element-95 $ 正则化：此时称作Lasso Regression ：

       $ \mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_1\right] $

       $ MathJax-Element-99 $ 为正则化系数，调整正则化项与训练误差的比例。

     • $ MathJax-Element-98 $ 正则化：此时称作Ridge Regression：

       $ \mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_2^2\right] $

       $ MathJax-Element-99 $ 为正则化系数，调整正则化项与训练误差的比例。

     • 同时包含 $ MathJax-Element-92 $ 正则化：此时称作Elastic Net：

       $ \mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda \rho||\mathbf {\vec {\tilde w}}||_1+\frac{\lambda(1-\rho)}{2}||\mathbf{\vec w}||^2_2\right] $

       其中：

       • $ MathJax-Element-99 $ 为正则化系数，调整正则化项与训练误差的比例。
       • $ MathJax-Element-94 $ 为比例系数，调整 $ MathJax-Element-95 $ 正则化与 $ MathJax-Element-98 $ 正则化的比例。

1.3 算法

1. 多元线性回归算法：

   • 输入：

     • 数据集 $ MathJax-Element-97 $
     • $ MathJax-Element-98 $ 正则化项系数 $ MathJax-Element-99 $

   • 输出模型： $ MathJax-Element-100 $

   • 算法步骤：

     令：

     $ \mathbf {\vec{\tilde w}}=(w_{1},w_{2},\cdots,w_{n},b)^{T}=(\mathbf {\vec w}^{T},b)^{T}\\ \mathbf {\vec {\tilde x}}=(x_{1},x_{2},\cdots,x_{n},1)^{T}=(\mathbf {\vec x}^{T},1)^{T}\\ \mathbf {\vec y}=(\tilde y_1,\tilde y_2,\cdots,\tilde y_N)^{T}\\ \mathbf X=(\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}=\begin{bmatrix} \mathbf {\vec {\tilde x}}_1^{T}\\ \mathbf {\vec {\tilde x}}_2^{T}\\ \vdots\\ \mathbf {\vec {\tilde x}}_N^{T}\\ \end{bmatrix}=\begin{bmatrix} x_{1,1}&x_{2,1}&\cdots&x_{n,1}&1\\ x_{1,2}&x_{2,2}&\cdots&x_{n,2}&1\\ \vdots&\vdots&\ddots&\vdots&1\\ x_{1,N}&x_{2,N}&\cdots&x_{n,N}&1\\ \end{bmatrix} $

     求解：

     $ \mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_2\right] $

     最终学得模型： $ MathJax-Element-101 $