Question

3.1 标签传播算法

1. 给定一个数据集，可以将其映射为一个图，数据集中每个样本对应于图中的一个结点。若两个样本之间的相似度很高（或者相关性很强），则对应的结点之间存在一条边，边的强度正比于样本之间的相似度（或相关性）。

   将有标记样本所对应的结点视作为已经染色，而未标记样本所对应的结点尚未染色。于是半监督学习就对应于“颜色”在图上扩散或者传播的过程。这就是标记传播算法label propagation 。

2. 给定标记样本集 $ MathJax-Element-150 $ ，和未标记样本集 $ MathJax-Element-236 $ ，其中 $ MathJax-Element-237 $ 。

   基于 $ MathJax-Element-153 $ 构建一个图 $ MathJax-Element-360 $ 。其中

   • 结点集 $ MathJax-Element-155 $

   • 边集 $ MathJax-Element-367 $ 的权重可以表示为一个亲和矩阵 affinity matirx $ MathJax-Element-157 $ ，一般基于高斯函数，其定义为：

     $ w_{i,j}=\begin{cases} \exp\left(-\frac{||\mathbf{\vec x}_i-\mathbf{\vec x}_j||_2^{2}}{2\sigma^{2}}\right),& i \ne j\\ 0,&i=j \end{cases},\quad i,j\in \{1,2,\cdots,N\} $

     其中 $ MathJax-Element-158 $ 是用户指定的高斯函数带宽参数。

     可以看到：

     • $ MathJax-Element-198 $ ，因此 $ MathJax-Element-340 $ 为对称矩阵。
     • 图 $ MathJax-Element-361 $ 是全连接的，任意两点之间都存在边。
     • 两个点的距离越近，说明两个样本越相似，则边的权重越大；距离越远，说明两个样本越不相似，则边的权重越小。
     • 权重越大说明样本越相似，则标签越容易传播。

3.1.1 能量函数

1. 假定从图 $ MathJax-Element-360 $ 学得一个实值函数 $ MathJax-Element-163 $ ， 其对应的分类规则为： $ MathJax-Element-164 $ 。

   直观上看，相似的样本应该具有相似的标记，于是可以定义关于 $ MathJax-Element-451 $ 的能量函数energy function：

   $ E(f)=\frac 12 \sum_{i=1}^{N}\sum_{j=1}^{N}w_{i,j}\left(f(\mathbf{\vec x}_i)-f(\mathbf{\vec x}_j)\right)^{2}\\ =\frac 12 \sum_{i=1}^{N}\sum_{j=1}^{N} \left[w_{i,j}f(\mathbf{\vec x}_i)^{2}+w_{i,j}f(\mathbf{\vec x}_j)^{2}-2w_{i,j}f(\mathbf{\vec x}_i)f(\mathbf{\vec x}_j)\right]\\ = \frac 12\left[\sum_{i=1}^{N}\left(f(\mathbf{\vec x}_i)^{2}\sum_{j=1}^{N}w_{i,j}\right)+\sum_{j=1}^{N}\left(f(\mathbf{\vec x}_j)^{2}\sum_{i=1}^{N}w_{i,j}\right)-2\sum_{i=1}^{N}\sum_{j=1}^{N}w_{i,j}f(\mathbf{\vec x}_i)f(\mathbf{\vec x}_j)\right] $

   • 两个点距离越远， $ MathJax-Element-166 $ 平方级的增大，而 $ MathJax-Element-193 $ 指数级下降，因此 $ MathJax-Element-168 $ 下降。

     因此能量函数 $ MathJax-Element-215 $ 由距离较近的样本对决定。

   • 标签传播算法假定系统能量最小，即 $ MathJax-Element-215 $ 最小。

     考虑到 $ MathJax-Element-215 $ 由距离较近的样本对决定，而 $ MathJax-Element-172 $ 是已知的量，因此算法倾向于使得：距离较近的样本具有相近的输出 。

2. 定义对角矩阵 $ MathJax-Element-173 $ ，其中 $ MathJax-Element-339 $ 为矩阵 $ MathJax-Element-340 $ 的第 $ MathJax-Element-387 $ 行元素之和。

   $ MathJax-Element-177 $ 的物理意义为：第 $ MathJax-Element-387 $ 个顶点的度（所有与它相连的边的权重之和）。因此 $ MathJax-Element-241 $ 也称作度矩阵。

   $ \mathbf D=\begin{bmatrix} d_1&0&0&\cdots&0\\ 0&d_2&0&\cdots&0\\ 0&0&d_3&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ 0&0&0&\cdots&d_N\\ \end{bmatrix} $

   定义 $ MathJax-Element-180 $ 为函数 $ MathJax-Element-451 $ 在所有样本上的预测结果。 其中：

   • $ MathJax-Element-182 $ 为函数 $ MathJax-Element-451 $ 在有标记样本上的预测结果。
   • $ MathJax-Element-184 $ 为函数 $ MathJax-Element-451 $ 在未标记样本上的预测结果。

   结合 $ MathJax-Element-241 $ 的定义以及 $ MathJax-Element-340 $ 的对称性，有：

   $ E(f)=\frac 12\left[\sum_{i=1}^{N} f(\mathbf{\vec x}_i)^{2}d_i +\sum_{j=1}^{N} f(\mathbf{\vec x}_j)^{2}d_j -2\sum_{i=1}^{N}\sum_{j=1}^{N}w_{i,j}f(\mathbf{\vec x}_i)f(\mathbf{\vec x}_j)\right]\\ = \sum_{i=1}^{N} f(\mathbf{\vec x}_i)^{2}d_i-\sum_{i=1}^{N}\sum_{j=1}^{N}w_{i,j}f(\mathbf{\vec x}_i)f(\mathbf{\vec x}_j) = \mathbf{\vec f}^{T}(\mathbf D-\mathbf W)\mathbf{\vec f} $

3. 标签传播算法将样本 $ MathJax-Element-188 $ 的标记 $ MathJax-Element-189 $ 视作能量。

   • 有标记样本的能量是已知的，未标记样本的能量是未知的。

   • 能量在样本之间流动。对于样本 $ MathJax-Element-548 $ ，它流向样本 $ MathJax-Element-484 $ 的能量为 $ MathJax-Element-192 $ 。

     • $ MathJax-Element-193 $ 表示边的权重，它就是能量流出的比例（类比于管道的大小）。
     • 流出的能量可正可负，因为 $ MathJax-Element-194 $ 。
     • 注意：能量不能在有标记样本与有标记样本之间流动，也不能从未标记样本流向有标记样本。

   • 流经每个未标记样本的能量是守恒的。对未标记样本 $ MathJax-Element-195 $ ：

     • 其能量流向其它的所有未标记结点，能量流出为： $ MathJax-Element-196 $ 。
     • 其它所有结点（包括有标记样本）都向其汇入能量，能量流入为： $ MathJax-Element-197 $ 。

     考虑到 $ MathJax-Element-198 $ ，以及 $ MathJax-Element-199 $ ，则有： $ MathJax-Element-200 $ 。 考虑所有的未标记样本，则有：

   • 从每个有标记样本流出的能量也是守恒的。对于有标记样本 $ MathJax-Element-201 $ ，它仅仅流出到未标记样本，因此流出能量为： $ MathJax-Element-202 $ 。

     由于有标记样本只有能量流出，没有能量流入，因此有： $ MathJax-Element-203 $ 。

   • 综合两种能量守恒的情况，有：

     $ \mathbf D \times \begin{bmatrix} 0\\ \vdots\\ 0\\ f(\mathbf{\vec x}_{l+1})\\ \vdots\\ f(\mathbf{\vec x}_{N})\\ \end{bmatrix}= \mathbf W \times \begin{bmatrix} 0\\ \vdots\\ 0\\ f(\mathbf{\vec x}_{l+1})\\ \vdots\\ f(\mathbf{\vec x}_{N})\\ \end{bmatrix} $

     即有： $ MathJax-Element-204 $ 。

   

4. 标签传播算法假定在满足约束条件的条件下，能量函数 $ MathJax-Element-215 $ 最低。其中约束条件为：

   • 标记约束：函数 $ MathJax-Element-451 $ 在标记样本上满足 $ MathJax-Element-207 $ 。
   • 能量守恒：定义拉普拉斯矩阵 $ MathJax-Element-208 $ ，则有： $ MathJax-Element-209 $

   因此标签传播算法就是求解约束最优化问题：

   $ \min_fE(f)\\ s.t.\quad f(\mathbf{\vec x}_i)=y_i,i=1,2,\cdots,l\\ (\mathbf D-\mathbf W)(0,\cdots,0,f(\mathbf{\vec x}_{l+1}) ,\cdots,f(\mathbf{\vec x}_{N}))^{T}=\mathbf{\vec 0} $

   ​ .

3.1.2 最优化求解

1. 以第 $ MathJax-Element-306 $ 行第 $ MathJax-Element-306 $ 列为界，采用分块矩阵表示方式：

   $ \mathbf W=\begin{bmatrix} \mathbf W_{l,l}&\mathbf W_{l,u}\\ \mathbf W_{u,l}&\mathbf W_{u,u} \end{bmatrix},\quad \mathbf D=\begin{bmatrix} \mathbf D_{l,l}&\mathbf 0_{l,u}\\ \mathbf 0_{u,l}&\mathbf D_{u,u} \end{bmatrix} $

   则：

   $ E(f)= \mathbf{\vec f}^{T}(\mathbf D-\mathbf W)\mathbf{\vec f} =(\mathbf{\vec f}_l^{T}\quad \mathbf{\vec f}_u^{T} )\left( \begin{bmatrix} \mathbf D_{l,l}&\mathbf 0_{l,u}\\ \mathbf 0_{u,l}&\mathbf D_{u,u} \end{bmatrix}- \begin{bmatrix} \mathbf W_{l,l}&\mathbf W_{l,u}\\ \mathbf W_{u,l}&\mathbf W_{u,u} \end{bmatrix} \right)\begin{bmatrix}\mathbf{\vec f}_l\\ \mathbf{\vec f}_u\end{bmatrix}\\ =\mathbf{\vec f}_l^{T}(\mathbf D_{l,l}-\mathbf W_{l,l})\mathbf{\vec f}_l-2\mathbf{\vec f}_u^{T} \mathbf W_{u,l}\mathbf{\vec f}_l^{T}+\mathbf{\vec f}_u^{T}(\mathbf D_{u,u}-\mathbf W_{u,u})\mathbf{\vec f}_u $

   考虑到 $ MathJax-Element-212 $ 是已知的，因此 $ MathJax-Element-215 $ 完全由 $ MathJax-Element-220 $ 决定。为求得 $ MathJax-Element-215 $ 的最小值，则根据 $ MathJax-Element-216 $ 有：

   $ \mathbf{\vec f}_u=(\mathbf D_{u,u}-\mathbf W_{u,u})^{-1}\mathbf W_{u,l}\mathbf{\vec f}_l $

2. 令:

   $ \mathbf P=\mathbf D^{-1}\mathbf W=\begin{bmatrix} \mathbf D_{l,l}^{-1}&\mathbf 0_{l,u}\\ \mathbf 0_{u,l}&\mathbf D_{u,u}^{-1} \end{bmatrix}\begin{bmatrix} \mathbf W_{l,l}&\mathbf W_{l,u}\\ \mathbf W_{u,l}&\mathbf W_{u,u} \end{bmatrix} =\begin{bmatrix} \mathbf D_{l,l}^{-1}\mathbf W_{l,l}&\mathbf D_{l,l}^{-1}\mathbf W_{l,u}\\ \mathbf D_{u,u}^{-1}\mathbf W_{u,l}&\mathbf D_{u,u}^{-1}\mathbf W_{u,u} \end{bmatrix} $

   令： $ MathJax-Element-217 $ ，则有：

   $ \mathbf{\vec f}_u=(\mathbf D_{u,u}-\mathbf W_{u,u})^{-1}\mathbf W_{u,l}\mathbf{\vec f}_l\\ =(\mathbf D_{u,u}(\mathbf I-\mathbf D_{u,u}^{-1}\mathbf W_{u,u}))^{-1}\mathbf W_{u,l}\mathbf{\vec f}_l\\ = (\mathbf I-\mathbf D_{u,u}^{-1}\mathbf W_{u,u})^{-1}\mathbf D_{u,u}^{-1}\mathbf W_{u,l}\mathbf{\vec f}_l\\ =(\mathbf I-\mathbf P_{u,u})^{-1}\mathbf P_{u,l}\mathbf{\vec f}_l $

   于是，将 $ MathJax-Element-428 $ 上的标记信息作为 $ MathJax-Element-219 $ 代入上式，即可求得未标记样本的预测值 $ MathJax-Element-220 $ 。

3. $ MathJax-Element-390 $ 矩阵其实为概率转移矩阵：

   $ p_{i,j}=\frac{w_{i,j}}{d_i}=\frac{w_{i,j}}{\sum_{j=1}^{N}w_{i,j}} $

   它表示从节点 $ MathJax-Element-387 $ 转移到节点 $ MathJax-Element-385 $ 的概率。

   注意到 $ MathJax-Element-224 $ ，因此 $ MathJax-Element-225 $ 不是对称的。即：节点 i 转移到节点 j 的概率 不等于 节点i 转移到节点 j 的概率 。因此在Label Spreading 算法中，提出新的标记传播矩阵 $ MathJax-Element-337 $ ：

   $ \mathbf S=\begin{bmatrix} \frac{w_{1,1}}{d_1}&\frac{w_{1,2}}{\sqrt{d_1\times d_2}}&\cdots &\frac{w_{1,N}}{\sqrt{d_1\times d_N}}\\ \frac{w_{2,1}}{\sqrt{d_2\times d_1}}&\frac{w_{2,2}}{d_2}&\cdots &\frac{w_{2,N}}{\sqrt{d_2\times d_N}}\\ \vdots&\vdots&\ddots &\vdots\\ \frac{w_{N,1}}{\sqrt{d_N\times d_1}}&\frac{w_{N,2}}{\sqrt{d_N\times d_2}}&\cdots &\frac{w_{N,N}}{d_N}\\ \end{bmatrix} $

   因此有： $ MathJax-Element-227 $ ，节点 i 转移到节点 j 的概率 等于 节点i 转移到节点 j 的概率 。此时的转移概率是非归一化的概率。

4. 矩阵求逆 $ MathJax-Element-354 $ 的算法复杂度是 $ MathJax-Element-355 $ 。如果未标记样本的数量 $ MathJax-Element-356 $ 很大，则求逆的过程非常耗时。这时一般选择迭代算法来实现。

   • 首先执行初始化： $ MathJax-Element-231 $ 。

   • 迭代过程：

     • 执行标签传播： $ MathJax-Element-232 $ 。
     • 重置 $ MathJax-Element-233 $ 中的标签样本标记： $ MathJax-Element-234 $ 。

3.2 多类标签传播算法

1. 给定标记样本集 $ MathJax-Element-330 $ ，和未标记样本集 $ MathJax-Element-236 $ ，其中 $ MathJax-Element-237 $ 。

   与二类标签传播算法一样，首先基于 $ MathJax-Element-238 $ 构建一个图 $ MathJax-Element-360 $ ，然后定义边的权重矩阵 $ MathJax-Element-340 $ 和度矩阵 $ MathJax-Element-241 $ 。

2. 令 $ MathJax-Element-548 $ 的标记向量为 $ MathJax-Element-243 $ ， 其中 $ MathJax-Element-244 $ 表示 $ MathJax-Element-548 $ 属于类别 $ MathJax-Element-537 $ 的概率。根据概率的定义有：

   $ \sum_{k=1}^K F_{i,k}=1,\quad F_{i,k}\ge 0 $

   • 对于标记样本 $ MathJax-Element-548 $ ， $ MathJax-Element-252 $ 中只有一个值为1 ，其他值为 0。设 $ MathJax-Element-548 $ 的标记为 $ MathJax-Element-250 $ ，即有：

     $ F_{i,k}=\begin{cases} 1,& k=\tilde K\\ 0,& k!=\tilde K \end{cases} $

   • 对于未标记样本 $ MathJax-Element-548 $ ， $ MathJax-Element-252 $ 表示一个概率分布，依次是该样本属于各个类别的概率。

3. 当给定 $ MathJax-Element-548 $ 的标记向量 $ MathJax-Element-254 $ 时，样本的分类规则为：

   $ \hat y_i=\arg\max_{1\le j \le K}F_{i,j} $

   其中 $ MathJax-Element-255 $ 表示模型对样本 $ MathJax-Element-548 $ 的预测输出。

4. 定义非负的标记矩阵为： $ MathJax-Element-257 $

   $ \mathbf F=\begin{bmatrix} F_{1,1}&F_{1,2}&\cdots&F_{1,K}\\ F_{2,1}&F_{2,2}&\cdots&F_{2,K}\\ \vdots&\vdots&\ddots&\vdots\\ F_{N,1}&F_{N,2}&\cdots&F_{N,K}\\ \end{bmatrix} $

   即： $ MathJax-Element-346 $ 的每一行代表每个样本属于各类别的概率。因此 $ MathJax-Element-346 $ 也称为软标记soft label矩阵。

   定义非负的常量矩阵 $ MathJax-Element-342 $ 为：

   $ Y_{i,j} =\begin{cases} 1,&\text{if}\quad 1 \le i\le l \quad \text{and} \quad y_i=j\\ 0,&\text{otherwise} \end{cases} $

   即： $ MathJax-Element-324 $ 的前 $ MathJax-Element-306 $ 行就是 $ MathJax-Element-306 $ 个有标记样本的标记向量。后 $ MathJax-Element-356 $ 行全为 0 。

3.2.1 Label Propagation

1. Label Propagation 算法通过节点之间的边来传播标记，边的权重越大则表示两个节点越相似，则标记越容易传播。

   • 定义概率转移矩阵 $ MathJax-Element-265 $ ，其中：

     $ p_{i,j}=\frac{w_{i,j}}{d_i}=\frac{w_{i,j}}{\sum_{j=1}^{N}w_{i,j}} $

     它表示标签从结点 $ MathJax-Element-387 $ 转移到结点 $ MathJax-Element-385 $ 的概率。

   • 定义标记矩阵 $ MathJax-Element-268 $ ，其中：

     $ Y_{i,j} =\begin{cases} 1,&\text{if} \quad y_i=j\\ 0,&\text{otherwise} \end{cases} $

     即：若 $ MathJax-Element-269 $ ，则第 $ MathJax-Element-387 $ 行的第 $ MathJax-Element-537 $ 个元素为1，该行其他元素都是 0。

   • 定义未标记矩阵 $ MathJax-Element-272 $ ，矩阵的第 $ MathJax-Element-387 $ 行为样本 $ MathJax-Element-274 $ 属于各标签的概率。

   • 合并 $ MathJax-Element-275 $ 和 $ MathJax-Element-276 $ 即可得到 $ MathJax-Element-346 $ 。

2. Label Propagation 是个迭代算法。算法流程为：

   • 首先执行初始化： $ MathJax-Element-344 $ 。

   • 迭代过程：

     • 执行标签传播： $ MathJax-Element-302 $ 。
     • 重置 $ MathJax-Element-346 $ 中的标签样本标记： $ MathJax-Element-303 $ ，其中 $ MathJax-Element-304 $ 表示 $ MathJax-Element-346 $ 的前 $ MathJax-Element-306 $ 行。

3. Label Propatation 算法：

   • 输入：

     • 有标记样本集 $ MathJax-Element-330 $
     • 未标记样本集 $ MathJax-Element-331 $
     • 构图参数 $ MathJax-Element-332 $
       

   • 输出：未标记样本的预测结果 $ MathJax-Element-423 $

   • 步骤：

     • 根据下式，计算 $ MathJax-Element-340 $ ：
     $ w_{i,j}=\begin{cases} \exp\left(-\frac{||\mathbf{\vec x}_i-\mathbf{\vec x}_j||_2^{2}}{2\sigma^{2}}\right),& i \ne j\\ 0,&i=j \end{cases},\quad i,j\in \{1,2,\cdots,N\} $

     • 基于 $ MathJax-Element-340 $ 构造概率转移矩阵 $ MathJax-Element-291 $ 。 其中 $ MathJax-Element-292 $ ， $ MathJax-Element-339 $ 为矩阵 $ MathJax-Element-340 $ 的第 $ MathJax-Element-387 $ 行元素之和。

     • 构造非负的常量矩阵 $ MathJax-Element-342 $ ：

       $ Y_{i,j} =\begin{cases} 1,&\text{if}\quad 1 \le i\le l \quad \text{and} \quad y_i=j\\ 0,&\text{otherwise} \end{cases} $

     • 初始化 $ MathJax-Element-343 $ ： $ MathJax-Element-344 $

     • 初始化 $ MathJax-Element-345 $

     • 迭代，迭代终止条件是 $ MathJax-Element-346 $ 收敛至 $ MathJax-Element-347 $ 。 迭代过程为：

       • $ MathJax-Element-302 $
       • $ MathJax-Element-303 $ ，其中 $ MathJax-Element-304 $ 表示 $ MathJax-Element-346 $ 的前 $ MathJax-Element-306 $ 行。
       • $ MathJax-Element-349 $

     • 构造未标记样本的预测结果：

     $ \hat y_{i}=\arg\max_{j\in\{1,2,\cdots,K\}} F^{*}_{i,j} ,i=l+1,l+2,\cdots,N $
     • 输出结果 $ MathJax-Element-474 $

3.2.2 Label Spreading

1. Label Spreading 算法也是个迭代算法：

   • 首先初始化 $ MathJax-Element-346 $ 为： $ MathJax-Element-344 $ ，其中 $ MathJax-Element-311 $ 表示第 0 次迭代。

   • 然后迭代： $ MathJax-Element-348 $ 。其中：

     • $ MathJax-Element-313 $ 为标记传播矩阵 $ MathJax-Element-337 $ ，其中 $ MathJax-Element-338 $ 。

     • $ MathJax-Element-316 $ 为用户指定的参数，用于对标记传播项 $ MathJax-Element-317 $ 和初始化项 $ MathJax-Element-324 $ 的重要性进行折中。

       • $ MathJax-Element-319 $ ，则每次迭代时尽可能保留初始化项 $ MathJax-Element-324 $ 。最终数据集的分布与初始化项 $ MathJax-Element-324 $ 非常相近。
       • $ MathJax-Element-322 $ ，则每次迭代时尽可能不考虑 $ MathJax-Element-324 $ 。最终数据集的分布与 $ MathJax-Element-324 $ 差距较大。

   迭代直至收敛，可以得到： $ MathJax-Element-325 $ 。于是可以从 $ MathJax-Element-347 $ 中可以获取 $ MathJax-Element-473 $ 中样本的标记。

2. 由于引入 $ MathJax-Element-333 $ ，因此 Label Spreading 最终收敛的结果中，标记样本的标签可能会发生改变。这在一定程度上能对抗噪音的影响。

   如： $ MathJax-Element-329 $ 意味着有 80% 的初始标记样本的标签会保留下来，有 20% 的初始标记样本的标签发生改变。

3. Label Spreading算法：

   • 输入：

     • 有标记样本集 $ MathJax-Element-330 $
     • 未标记样本集 $ MathJax-Element-331 $
     • 构图参数 $ MathJax-Element-332 $
       
     • 折中参数 $ MathJax-Element-333 $

   • 输出：未标记样本的预测结果 $ MathJax-Element-423 $

   • 步骤：

     • 根据下式，计算 $ MathJax-Element-340 $ ：
     $ w_{i,j}=\begin{cases} \exp\left(-\frac{||\mathbf{\vec x}_i-\mathbf{\vec x}_j||_2^{2}}{2\sigma^{2}}\right),& i \ne j\\ 0,&i=j \end{cases},\quad i,j\in \{1,2,\cdots,N\} $

     • 基于 $ MathJax-Element-340 $ 构造标记传播矩阵 $ MathJax-Element-337 $ 。 其中 $ MathJax-Element-338 $ ， $ MathJax-Element-339 $ 为矩阵 $ MathJax-Element-340 $ 的第 $ MathJax-Element-387 $ 行元素之和。

     • 构造非负的常量矩阵 $ MathJax-Element-342 $ ：

       $ Y_{i,j} =\begin{cases} 1,&\text{if}\quad 1 \le i\le l \quad \text{and} \quad y_i=j\\ 0,&\text{otherwise} \end{cases} $

     • 初始化 $ MathJax-Element-343 $ ： $ MathJax-Element-344 $

     • 初始化 $ MathJax-Element-345 $

     • 迭代，迭代终止条件是 $ MathJax-Element-346 $ 收敛至 $ MathJax-Element-347 $ 。 迭代过程为：

       • $ MathJax-Element-348 $
       • $ MathJax-Element-349 $

     • 构造未标记样本的预测结果：

     $ \hat y_{i}=\arg\max_{j\in\{1,2,\cdots,K\}} F^{*}_{i,j} ,i=l+1,l+2,\cdots,N $
     • 输出结果 $ MathJax-Element-474 $

3.3 性质

1. 其实上述算法都对应于正则化框架：

   $ \min_{\mathbf F}\frac 12\left(\sum_{i=1}^{N}\sum_{j=1}^N w_{i,j}||\frac {1}{\sqrt{d_i}}\mathbf{\vec F}_i-\frac {1}{\sqrt{d_j}}\mathbf{\vec F}_j||_2^{2}\right)+\mu\sum_{i=1}^{l}|| \mathbf{\vec F}_i- \mathbf{\vec Y}_i||_2^{2} $

   其中：

   • $ MathJax-Element-351 $ 为正则化参数 。当 $ MathJax-Element-352 $ 时，上式的最优解恰好为 $ MathJax-Element-353 $
   • 上式第二项：迫使学得结果在有标记样本上的预测与真实标记尽可能相同。
   • 上式第一项：迫使相近样本具有相似的标记。

   这里的标记既可以是离散的类别，也可以是连续的值。

2. 虽然二类标签传播算法和多类标签传播算法理论上都收敛，而且都知道解析解。但是：

   • 对二类标签传播算法，矩阵求逆 $ MathJax-Element-354 $ 的算法复杂度是 $ MathJax-Element-355 $ 。如果未标记样本的数量 $ MathJax-Element-356 $ 很大，则求逆的过程非常耗时。
   • 对多类标签传播算法，矩阵求逆 $ MathJax-Element-357 $ 的算法复杂度是 $ MathJax-Element-358 $ 。如果样本总数量 $ MathJax-Element-375 $ 很大，则求逆的过程非常耗时。

   因此标签传播算法一般选择迭代算法来实现。

3. 图半监督学习方法在概念上相当清晰，且易于通过对所涉及矩阵运算的分析来探索算法性质。

   缺点：

   • 在存储开销上较大，使得此类算法很难直接处理大规模数据。
   • 由于构图过程仅能考虑训练样本集，难以判断新的样本在图中的位置。因此在接收到新样本时，要么将其加入原数据集对图进行重构并重新进行标记传播，要么引入额外的预测机制。

3.4 标签传播与 PageRank

1. PageRank 算法用于对网页进行排名。它也是利用能量在有向图 $ MathJax-Element-360 $ 中的流动来获得网页的重要性得分。

   • 每个网页代表图 $ MathJax-Element-361 $ 中的一个顶点，所有顶点的集合为 $ MathJax-Element-362 $ 。

   • 如果存在超链接，该超链接从顶点 $ MathJax-Element-387 $ 对应的网页指向顶点 $ MathJax-Element-385 $ 对应的网页，则存在一条有向边从顶点 $ MathJax-Element-387 $ 指向顶点 $ MathJax-Element-385 $ 。

     所有的边的集合为 $ MathJax-Element-367 $ 。

   • 每个顶点都存储有能量，能量对应着网页的重要性得分。

   • 对每个网页，设其能量为 $ MathJax-Element-368 $ ：

     • 用户以概率 $ MathJax-Element-369 $ 选择一个超链接，进入下一个网页。这意味着有 $ MathJax-Element-370 $ 的能量从当前顶点流失，流向下一个网页。

     • 用户以概率 $ MathJax-Element-376 $ 随机选择一个网页。这意味着有 $ MathJax-Element-372 $ 的能量从当前顶点流失，流向全局能量池。同时有 $ MathJax-Element-378 $ 的能量流入当前顶点，其中 $ MathJax-Element-374 $ 是系统中所有顶点的总能量， $ MathJax-Element-375 $ 为顶点数量。

       这是因为每个顶点都有 $ MathJax-Element-376 $ 比例的能量流入全局能量池，则全局能量池的流入能量为 $ MathJax-Element-377 $ 。而全局能量池的能量又平均流入到每个顶点中，则每个顶点从全局能量池得到的能量为 $ MathJax-Element-378 $ 。

   • 当系统取得平衡时，满足以下条件：

     • 全局能量池的流入、流出能量守恒。
     • 每个顶点的流入、流出能量守恒。
     • 系统所有顶点的总能量为常数。

   

2. 假设 $ MathJax-Element-379 $ ，即系统所有顶点的总能量恒定为 1 。对给定的顶点 $ MathJax-Element-387 $ ，假设其能量为 $ MathJax-Element-381 $ 。

   • 流出能量为： $ MathJax-Element-382 $ 。
   • 流入能量为： $ MathJax-Element-383 $ 。其中 $ MathJax-Element-384 $ 为能量从顶点 $ MathJax-Element-385 $ 流向顶点 $ MathJax-Element-387 $ 的概率。

   则顶点 $ MathJax-Element-387 $ 的净入能量为： $ MathJax-Element-388 $ 。

   考虑所有顶点，令 $ MathJax-Element-389 $ ， $ MathJax-Element-390 $ ， $ MathJax-Element-391 $ ，则系统每个顶点净流入能量组成的向量为：

   $ (1-e) \mathbf P\mathbf{\vec y} +\frac eN\mathbf{\vec 1}- \mathbf{\vec y} $

   当系统稳定时，每个顶点的净流入能量为 0 。因此有： $ MathJax-Element-392 $ 。

3. 考虑到所有顶点的总能量恒定为 1，则有 $ MathJax-Element-393 $ 。

   定义矩阵 $ MathJax-Element-394 $ 为：

   $ \mathbf T=\begin{bmatrix} 1&1&\cdots&1\\ 1&1&\cdots&1\\ \vdots&\vdots&\ddots&\vdots\\ 1&1&\cdots&1\\ \end{bmatrix} $

   则有： $ MathJax-Element-395 $ 。因此有： $ MathJax-Element-396 $ 。

   令 $ MathJax-Element-397 $ ，则有 $ MathJax-Element-398 $ 。此时的 $ MathJax-Element-399 $ 就是对应于 $ MathJax-Element-400 $ 的特征值为 1 的特征向量（经过归一化使得满足的总能量恒定为 1）。

3.5 标签传播与社区发现

1. 设图 $ MathJax-Element-360 $ ，社区发现就是在图 $ MathJax-Element-361 $ 中确定 $ MathJax-Element-540 $ 个社区 $ MathJax-Element-576 $ ，其中满足 $ MathJax-Element-618 $ 。

   若任意两个社区的顶点集合的交集均为空，则称 $ MathJax-Element-524 $ 为非重叠社区，此时等价于聚类。否则称作重叠社区，此时一个顶点可能从属于多个社区。

2. 社区划分的好坏是通过考察当前图的社区划分，与随机图的社区划分的差异来衡量的。

   • 当前图的社区划分：计算当前图的社区结构中，内部顶点的边占所有边的比例 ： $ MathJax-Element-1017 $ 。

     其中：

     • $ MathJax-Element-193 $ 表示顶点 $ MathJax-Element-387 $ 与顶点 $ MathJax-Element-385 $ 之间的边的权重， $ MathJax-Element-708 $ 表示图 $ MathJax-Element-361 $ 中所有边的权重之和 $ MathJax-Element-1440 $ 。

     • $ MathJax-Element-937 $ 表示顶点 $ MathJax-Element-387 $ 所属的社区， $ MathJax-Element-940 $ 表示顶点 $ MathJax-Element-385 $ 所属的社区。 $ MathJax-Element-945 $ 函数定义为：

       $ \delta(x,y)=\begin{cases} 0,& x\ne y\\ 1,& x=y \end{cases} $

     • 因为 $ MathJax-Element-198 $ ，因此每条边被计算了两次，所以系数为 $ MathJax-Element-1023 $ 。

     它可以简化为： $ MathJax-Element-1402 $ ，其中 $ MathJax-Element-730 $ 表示社区 $ MathJax-Element-740 $ 中所有内部边的总权重。

   • 随机图的社区划分：计算随机图的社区结构中，内部顶点的边占所有边的比例的期望。

     随机图是这样生成的：每个顶点的度保持不变，边重新连接。

     记顶点 $ MathJax-Element-387 $ 和 $ MathJax-Element-385 $ 之间的边的期望权重为 $ MathJax-Element-384 $ ，则它满足下列条件：

     • 因为每个顶点的度不变，则最终总度数不变。即： $ MathJax-Element-1463 $ 。
     • 对每个顶点，它的度保持不变。即： $ MathJax-Element-1483 $ 。其中 $ MathJax-Element-177 $ 表示顶点 $ MathJax-Element-387 $ 的度。
     • 随机连边时，一个边的两个顶点的选择都是独立、随机的。因此对于 $ MathJax-Element-384 $ ，选到 $ MathJax-Element-387 $ 的概率与 $ MathJax-Element-177 $ 有关，选到 $ MathJax-Element-385 $ 的概率与 $ MathJax-Element-934 $ 有关。根据独立性有： $ MathJax-Element-1489 $ ，其中 $ MathJax-Element-1491 $ 为某个映射函数。

     根据 $ MathJax-Element-1483 $ ，以及 $ MathJax-Element-1507 $ 有： $ MathJax-Element-1537 $ 。

     由于 $ MathJax-Element-1540 $ 不包含 $ MathJax-Element-177 $ ，因此 $ MathJax-Element-1543 $ 与 $ MathJax-Element-177 $ 是倍乘关系。不妨假设 $ MathJax-Element-1555 $ ，其中 $ MathJax-Element-430 $ 为常量。则有：

     $ \sum_{i\in \mathbb V}\sum_{j \in \mathbb V} p_{i,j}=\sum_{i\in \mathbb V}\sum_{j \in \mathbb V} T^2d_i\times d_j = 2M $

     考虑到 $ MathJax-Element-1604 $ ，则有： $ MathJax-Element-1639 $ 。因此有：

     $ T^2\times (2M)^2=2M $

     因此有： $ MathJax-Element-1697 $ 。

     因此随机图的社区结构中，内部顶点的边占所有边的比例的期望为：

     $ \frac {1}{2 M} \sum_{i\in \mathbb V}\sum_{j \in \mathbb V} p_{i,j} \delta(c_i,c_j)=\frac {1}{2 M} \sum_{i\in \mathbb V}\sum_{j \in \mathbb V}\frac{d_i\times d_j}{2M} \delta(c_i,c_j) $

3. 定义modularity 指标为 $ MathJax-Element-626 $ ：

   $ Q=\frac {1}{2 M} \sum_{i\in \mathbb V}\sum_{j \in \mathbb V} \left[w_{i,j} - \frac{d_i\times d_j}{2M}\right]\delta(c_i,c_j) $

   它就是：当前网络中连接社区结构内部顶点的边所占的比例，与另外一个随机网络中连接社区结构内部顶点的便所占比例的期望相减，得到的差值。用于刻画社区划分的好坏。

   • 第一项：

     $ \frac {1}{2 M} \sum_{i\in \mathbb V}\sum_{j \in \mathbb V} w_{i,j} \delta(c_i,c_j)=\frac {1}{2 M} \sum_{k=1}^K\sum_{i\in \mathbb C_k}\sum_{j\in \mathbb C_k} w_{i,j}\\ = \sum_{k=1}^K \frac{2m_k}{2M}=\sum_{k=1}^K \frac{m_k}{M} $

   • 第二项：

     $ \frac {1}{2 M} \sum_{i\in \mathbb V}\sum_{j \in \mathbb V} \frac{d_i\times d_j}{2M}\delta(c_i,c_j)=\sum_{k=1}^K\sum_{i\in \mathbb C_k}\sum_{j\in \mathbb C_k} \frac{d_i}{2M}\times \frac{d_j}{2M}\\ =\sum_{k=1}^K\left( \frac{\sum_{i\in \mathbb C_k}d_i}{2M}\right)^2=\sum_{k=1}^K\left( \frac{D_k}{2M}\right)^2 $

   因此，经过化简之后为：

   $ Q = \sum_{k=1}^K \left(\frac{m_k}{M}-\left(\frac{D_k}{2M}\right)^2\right) $

   其中：

   • $ MathJax-Element-730 $ 表示社区 $ MathJax-Element-740 $ 中所有内部边的总权重 $ MathJax-Element-2037 $ 。

   • $ MathJax-Element-1278 $ 表示社区 $ MathJax-Element-740 $ 中所有顶点的度之和 $ MathJax-Element-2176 $ 。

     • $ MathJax-Element-1934 $ 表示社区 $ MathJax-Element-740 $ 的内部顶点的度数之和，占总权重的比例。
     • $ MathJax-Element-1278 $ 也可以表示为： $ MathJax-Element-1281 $ ，其中 $ MathJax-Element-762 $ 表示社区 $ MathJax-Element-740 $ 与其它所有社区之间的边的数量。

   • $ MathJax-Element-626 $ 的值在 (-1,1) 之间。

     • 当社区之间不存在边的连接时， $ MathJax-Element-626 $ 最大。
     • 当每个点都是一个社区时， $ MathJax-Element-626 $ 最小。

3.5.1 Fast Unfolding

1. Fast Unfolding 算法是基于modularity 的社区划分算法。

   它是一种迭代算法，每一步3迭代的目标是：使得划分后整个网络的 modularity 不断增大。

2. Fast Unfolding 算法主要包括两个阶段：

   • 第一阶段称作 modularity optimization：将每个顶点划分到与其邻接的顶点所在的社区中，以使得 modularity 不断增大。

     考虑顶点 $ MathJax-Element-387 $ ，设其邻接顶点 $ MathJax-Element-385 $ 位于社区 $ MathJax-Element-740 $ 中。

     • 未划分之前，顶点 $ MathJax-Element-387 $ 是一个独立的社区，它对 $ MathJax-Element-626 $ 的贡献为： $ MathJax-Element-2323 $ 。因为该社区只有一个顶点，因此所有顶点的度之和就是 $ MathJax-Element-177 $ 。

     • 未划分之前，社区 $ MathJax-Element-740 $ 对于 $ MathJax-Element-626 $ 的贡献为： $ MathJax-Element-2244 $ 。

     • 划分之后，除了社区 $ MathJax-Element-740 $ 与顶点 $ MathJax-Element-387 $ 之外，所有社区、顶点在划分前后保持不变，因此 $ MathJax-Element-626 $ 的变化为：

       $ \Delta Q=\left[\frac{m_k^\prime}{M}-\left(\frac{D_k^\prime}{2M}\right)^2\right]-\left[\frac{m_k}{M}-\left(\frac{D_k}{2M}\right)^2-\left(\frac{d_i}{2M}\right)^2\right] $

       其中 $ MathJax-Element-2320 $ 分别表示划分之后社区 $ MathJax-Element-740 $ 的所有内部边的总权重、所有顶点的度之和。

     设顶点 $ MathJax-Element-387 $ 与社区 $ MathJax-Element-740 $ 相连的边的度数之和为 $ MathJax-Element-2336 $ （可能 $ MathJax-Element-387 $ 有多条边与 $ MathJax-Element-537 $ 相连） ，则有： $ MathJax-Element-2402 $ 。

     由于顶点 $ MathJax-Element-387 $ 现在成为社区 $ MathJax-Element-740 $ 的内部顶点，因此 $ MathJax-Element-2378 $ 。

     因此有：

     $ \Delta Q=\frac{ d_i^{(k)}}{2M}-\frac{2D_k\times d_i}{(2M)^2} $
     • 如果 $ MathJax-Element-2467 $ ，则将顶点 $ MathJax-Element-387 $ 划入到社区 $ MathJax-Element-740 $ 中。
     • 如果 $ MathJax-Element-2462 $ ，则顶点 $ MathJax-Element-387 $ 保持不变。

   • 第二阶段称作 modularity Aggregation：将第一阶段划分出来的社区聚合成一个点，这相当于重新构造网络。

   重复上述过程，直到网络中的结构不再改变为止。

3. Fast Unfolding 算法：

   • 输入：

     • 数据集 $ MathJax-Element-2484 $

   • 输出：社区划分 $ MathJax-Element-576 $ 。

   • 算法步骤：

     • 构建图：根据 $ MathJax-Element-549 $ 构建图 $ MathJax-Element-360 $ 。

     • 初始化社区：构建 $ MathJax-Element-375 $ 个社区，将每个顶点划分到不同的社区中。

       此时每个社区有且仅有一个顶点。

     • 迭代，迭代停止条件为：图保持不变 。迭代步骤为：

       • 遍历每个顶点：

         随机选择与其相连的顶点的社区，考察 $ MathJax-Element-2455 $ 。如果 $ MathJax-Element-2467 $ ，则将该顶点划入到该社区中；否则保持不变。

       • 重复上述过程，直到不能再增大modularity 为止。

       • 构造新的图：将旧图中每个社区合并为新图中的每个顶点，旧社区之间的边的总权重合并为新图中的边的权重。

         然后重复执行上述两步。

4. 对于顶点 $ MathJax-Element-387 $ ，在考察 $ MathJax-Element-2455 $ 时，可以遍历与其相连的所有顶点所属的社区，然后选择最大的那个 $ MathJax-Element-2455 $ 。

5. 上述算法是串行执行：逐个选择顶点，重新计算其社区。在这个过程中其它顶点是不能变化的。

   事实上可以将其改造为并行算法，在每一步迭代中同时更新多个顶点的信息。

6. Fast Unfolding 算法的结果比较理想，对比LPA 算法会更稳定。另外Fast Unfolding 算法不断合并顶点并构造新图，这会大大减少计算量。

3.5.2 LPA

1. Usha 等人于2007年首次将标签传播算法用于社区发现。

   不同于半监督学习，在社区发现中并没有任何样本的标注信息，这使得算法不稳定，可能得到多个不同的社区划分结果。

2. 标签传播算法在迭代过程中，对于顶点 $ MathJax-Element-387 $ ，会根据它的邻居顶点更新 $ MathJax-Element-387 $ 的社区。更新规则为： $ MathJax-Element-387 $ 的邻居顶点中，哪个社区出现最多，则顶点 $ MathJax-Element-387 $ 就属于哪个社区。

   如果多个社区出现的次数都是最多的，则随机选择一个。

3. 标签传播算法：

   • 输入：

     • 数据集 $ MathJax-Element-2484 $

   • 输出：社区划分 $ MathJax-Element-576 $ 。

   • 算法步骤：

     • 构建图：根据 $ MathJax-Element-549 $ 构建图 $ MathJax-Element-360 $ 。

     • 初始化：为每个顶点指定一个唯一的标签。

     • 迭代，迭代停止条件为社区划分收敛。迭代步骤为：

       • 随机打乱顶点的顺序。

       • 遍历每个顶点 $ MathJax-Element-387 $ ，设置顶点 $ MathJax-Element-387 $ 的标签为：

         $ c(i) = \arg\max_{k} \sum_{j\in \mathbb N(i)} I(c(j)=k) $

         其中 $ MathJax-Element-2576 $ 表示顶点 $ MathJax-Element-387 $ 的邻居顶点集合， $ MathJax-Element-2578 $ 表示顶点 $ MathJax-Element-387 $ 的标签， $ MathJax-Element-2581 $ 表示示性函数。

       • 判断是否收敛。收敛条件为：遍历每个顶点 $ MathJax-Element-387 $ ，满足：

         $ \sum_{j\in \mathbb N(i)} I(c(j)=c(i)) \ge \sum_{j\in \mathbb N(i)} I(c(j)=k), k=1,2,\cdots $

         即：顶点 $ MathJax-Element-387 $ 的邻居顶点集合中，标签为 $ MathJax-Element-2578 $ 的点的个数最多。

         之所以取 = 是因为：可能出现个数一样多的情况，这时也是满足条件的。

4. 标签传播算法的优点是：简单、高效、快速。缺点是每次迭代结果不稳定，准确率不高。

5. 标签传播算法中，顶点的标签有同步更新和异步更新两种方式。

   • 同步更新（假设更新次数为 $ MathJax-Element-2630 $ ）：

     $ c(i) ^{}= \arg\max_{k} \sum_{j\in \mathbb N(i)} I(c(j)^{}=k) $

     同步更新方法在二分图中可能出现震荡的情况，如下图所示。

     

   • 异步更新：

     $ c(i) ^{}= \arg\max_{k} \sum_{j\in \mathbb N(i)} I(c(j)^{}=k) $

     $ MathJax-Element-2665 $ 为顶点 $ MathJax-Element-385 $ 的最新的标签值。如果它最近的更新是在第 $ MathJax-Element-2667 $ 轮，则 $ MathJax-Element-2670 $ ；如果它最近的更新是在第 $ MathJax-Element-2630 $ 轮，则 $ MathJax-Element-2676 $ 。

     异步更新可以保证收敛，因此标签传播算法采用异步的策略更新顶点的标签，并在每次迭代之前对顶点重新进行随机排序从而保证顶点是随机遍历的。

6. 标签传播算法的时间复杂度为 $ MathJax-Element-401 $ ，空间复杂度为 $ MathJax-Element-402 $ 。因此标签传播算法具有线性的时间复杂度并且可以很好地适应大规模社区的检测。

   它既不需优化预定义的目标函数，也不需要关于社区的数量和规模等先验信息。

3.5.3 SLPA

1. SLPA 由Jierui Xie 等人于 2011 年提出，它是一种重叠型社区发现算法。通过设定参数，也可以退化为非重叠型社区发现算法。

2. SLPA 与LPA 的重要区别：

   • SLPA 引入 Listener 和 Speaker 的概念。其中Listener 就是待更新标签的顶点， Speaker 就是该顶点的邻居顶点集合。

     在LPA 中，Listener 的标签由 Speaker 中出现最多的标签决定。而SLPA 中引入了更多的规则。

   • SLPA 会记录每个顶点的历史标签序列。假设更新了 $ MathJax-Element-430 $ 次，则每个顶点会保存一个长度为 $ MathJax-Element-430 $ 的序列。

     当迭代停止之后，对每个顶点的历史标签序列中各标签出现的频率作出统计，按照某一给定的阈值 $ MathJax-Element-2684 $ 过滤掉那些频率小的标签，剩下的就是该顶点的标签，通常会有多个标签。

3. SLPA 算法：

   • 输入：

     • 数据集 $ MathJax-Element-2484 $
     • 迭代步数 $ MathJax-Element-430 $
     • 标签频率阈值 $ MathJax-Element-2684 $
     • Speaker rule
     • Listener rule

   • 输出：社区划分 $ MathJax-Element-576 $ 。

   • 算法步骤：

     • 构建图：根据 $ MathJax-Element-549 $ 构建图 $ MathJax-Element-360 $ 。

     • 初始化：为每个顶点分配一个标签队列；为每个顶点指定一个唯一的标签，并将标签加入到该顶点的标签队列中。

     • 迭代 $ MathJax-Element-430 $ 步。迭代步骤为：

       • 随机打乱顶点的顺序。

       • 遍历每个顶点 $ MathJax-Element-387 $ ，将顶点 $ MathJax-Element-387 $ 设置为Listener， 将顶点 $ MathJax-Element-387 $ 的邻居顶点都设置为Speaker 。

         • Speaker 根据Speaker rule 向Listener 发送消息。

           Speaker rule为发送规则，如：Speaker 从它的标签队列中发送最新的标签、或者Speaker 从它的标签队列中随机选择一个标签发送（标签选择的概率等于标签队列中各标签出现的频率）。

         • Listener 接收消息，并根据Listener rule 更新标签，并将最新的标签加入到它的标签队列中。

           Listener rule 为接收规则。如：Listener 选择接受的标签中出现最多的那个作为最新的标签。

     • 遍历每个顶点 $ MathJax-Element-387 $ ，将顶点 $ MathJax-Element-387 $ 的标签队列中，标签出现频率低于 $ MathJax-Element-2684 $ 的标签丢弃。标签队列中剩下的标签就是顶点 $ MathJax-Element-387 $ 的标签（可能有多个）。