Question

1. 在机器学习中对高维数据进行降维的主要目的是：希望找出一个合适的低维空间，在这个低维空间中进行学习能比原始空间性能更好。

   每个空间对应了在样本属性上定义的一个距离度量。寻找合适的空间，本质上就是在寻找一个合适的距离度量。

2. 度量学习metric learning的思想就是：尝试直接学习出一个合适的距离度量。

3. 推广欧氏距离：对于两个 $ MathJax-Element-897 $ 维样本 $ MathJax-Element-390 $ ，假定不同的属性的重要性不同，因此引入了权重：

   $ dist_{ed}^{2}(\mathbf{\vec x}_i,\mathbf{\vec x}_j)=||\mathbf{\vec x}_i-\mathbf{\vec x}_j ||_2^{2}=w_1d_{i,j,1}^2+w_2d_{i,j,2}^{2}+\cdots+w_nd_{i,j,n}^{2} $

   其中 $ MathJax-Element-391 $ 表示 $ MathJax-Element-392 $ 在第 $ MathJax-Element-395 $ 维上的距离， $ MathJax-Element-394 $ 第 $ MathJax-Element-395 $ 维距离的权重。

   定义对角矩阵 $ MathJax-Element-775 $ 为：

   $ \mathbf W=\begin{bmatrix} w_1&0&0&\cdots&0\\ 0&w_2&0&\cdots&0\\ 0&0&w_3&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ 0&0&0&\cdots&w_n\\ \end{bmatrix} $

   则 $ MathJax-Element-397 $ 。

   上式中的权重矩阵 $ MathJax-Element-775 $ 可以通过学习确定。

4. 前述假设权重矩阵 $ MathJax-Element-775 $ 是对角矩阵，这意味着坐标轴是正交的，即属性之间无关。

   现实任务中可能会发生属性相关的情况，此时对应的坐标轴不再正交。于是可以将 $ MathJax-Element-775 $ 替换成一个普通的半正定对称矩阵 $ MathJax-Element-412 $ ，此时就得到了马氏距离 Mahalanobis distance：

   $ dist_{mah}^{2}(\mathbf{\vec x}_i,\mathbf{\vec x}_j)=(\mathbf{\vec x}_i-\mathbf{\vec x}_j)^{T}\mathbf M(\mathbf{\vec x}_i-\mathbf{\vec x}_j) $

   其中的矩阵 $ MathJax-Element-412 $ 也称作度量矩阵，度量学习就是对 $ MathJax-Element-412 $ 进行学习。

   为了保持距离非负而且对称，则 $ MathJax-Element-412 $ 必须是半正定对称矩阵。即必有正交基 $ MathJax-Element-416 $ ，使得 $ MathJax-Element-406 $ 。

5. 对 $ MathJax-Element-412 $ 学习的目标是：将 $ MathJax-Element-412 $ 嵌入到学习器的评价指标中去，通过优化学习器的评价指标来求得 $ MathJax-Element-412 $ 。

   即：对 $ MathJax-Element-412 $ 的学习无法直接提出优化目标，而是将 $ MathJax-Element-412 $ 的学习与学习器的学习作为一个整体，然后优化学习器的优化目标。

6. 如果学习得的 $ MathJax-Element-412 $ 是一个低秩矩阵（假设秩为 $ MathJax-Element-413 $ ）， 可以找到一组正交基，其中正交基的数量为 $ MathJax-Element-414 $ ，该组正交基构成矩阵 $ MathJax-Element-416 $ 。

   于是度量学习的结果可以衍生出一个降维矩阵 $ MathJax-Element-416 $ ，能用于降维。降维后的低维空间就是该组正交基张成的空间。