Question

5.1 sentence-LDA

1. LDA 认为每个单词对应一个主题，但是针对短文本可能每句话表示一个主题，这就是Sentence-LDA 的基本假设。

2. Sentence-LDA 的文档生成过程：

   • 根据参数为 $ \vec\eta $ 的狄利克雷分布随机采样，对每个话题 $ \text{topic}_t $ 生成一个单词分布 $ \vec\theta_t=(\theta_{t,1},\theta_{t,2},\cdots,\theta_{t,V}) $ 。每个话题采样一次，一共采样 $ T $ 次。

   • 对每篇文档 $ \mathcal D_i $ ：

     • 根据参数为 $ \vec\alpha $ 的狄利克雷分布随机采样，生成文档 $ \mathcal D_i $ 的一个话题分布 $ \vec\varphi_i=(\varphi_{i,1},\varphi_{i,2},\cdots,\varphi_{i,T}) $ 。每篇文档采样一次。

     • 对文档 $ \mathcal D_i $ 中的每个句子：

       • 从话题分布中 $ \vec\varphi_i $ 中采样一个话题 $ \text{topic}_t $ ，然后从话题的单词分布 $ \vec\theta_t $ 采样 $ n_{i,s} $ 个单词 。 $ s $ 为句子的编号。

         此时这些单词的话题都是 $ \text{topic}_t $ 。

       • 重复生成 $ n_i $ 个句子，得到一篇包含 $ n_i $ 个句子的文档。

     • 重复执行上述文档生成规则 $ N $ 次，即得到 $ N $ 篇文档组成的文档集合 $ \mathbb D $ 。

   

3. Sentence-LDA 的吉布斯采样概率为：

   $ p(\text{topic}_{t} \mid \mathbf{TOPIC}_{\neg{(i,s)}},\mathbf{WORD}) \propto\\ \frac{n_{s}^{\prime}(i,t)+\alpha_t}{\sum_{t^\prime=1}^ Tn_{s}^{\prime}(i,t^\prime) +\alpha_{t^\prime}}\times\frac{\Gamma(\sum_{v=1}^V n_v^{\prime}(t,v)+\eta_v)}{\Gamma\left(m_s+\sum_{v=1}^V(n_v^{\prime}(t,v)+\eta_v) \right)}\times \prod_{v=1}^V\frac{\Gamma(n_v^{\prime}(t,v)+\eta_v+m_{s,v})}{\Gamma(n_v^{\prime}(t,v)+\eta_v)} $

   各参数的意义为：

   • $ p(\text{topic}_{t} \mid \mathbf{TOPIC}_{\neg{(i,s)}},\mathbf{WORD}) $ ：已知所有单词，以及除了第 $ i $ 篇文档的第 $ s $ 个句子之外的所有句子的主题的情况下，第 $ i $ 篇文档的第 $ s $ 个句子的主题为 $ \text{topic}_t $ 的概率。
   • $ n_{s}^{\prime}(i,t) $ ：排除第 $ i $ 篇文档的第 $ s $ 句之外，第 $ i $ 篇文档中属于主题 $ t $ 的句子的数量。
   • $ n_v^{\prime}(t,v) $ ：排除第 $ i $ 篇文档的第 $ s $ 句之外，数据集 $ \mathbb D $ 中属于主题 $ t $ 的词汇 $ v $ 的数量。
   • $ \alpha_t $ ：文档-主题计数中，主题 $ t $ 的先验计数； $ \eta_v $ ：主题-单词计数中，单词 $ v $ 的先验计数。
   • $ m_s $ ：第 $ i $ 篇文档的第 $ s $ 句的单词总数； $ m_{s,v} $ ：第 $ i $ 篇文档的第 $ s $ 句的词汇 $ v $ 的总数。

4. Sentence-LDA 得到的文档-主题概率分布为：

   $ \hat \varphi_{i,t} = \frac{n_{s} (i,t)+\alpha_t}{\sum_{t^\prime=1}^ Tn_{s} (i,t^\prime) +\alpha_{t^\prime}} $

   主题-单词概率分布为：

   $ \hat\theta_{t,v} = \frac{ n_v (t,v)+\eta_v }{ \sum_{v^\prime=1}^V(n_v (t,v^\prime)+\eta_v^\prime) } $

   其中：

   • $ n_{s} (i,t) $ ：文档 $ i $ 中，属于主题 $ t $ 的句子数量； $ n_v(t,v) $ ：数据集 $ \mathbb D $ 中，属于主题 $ t $ 的单词 $ v $ 的数量。
   • $ \hat\varphi_{i,t},\hat\theta_{t,v} $ 其实分别是 $ \varphi_{i,t}, \theta_{t,v} $ 的期望值，因为 $ \varphi_{i,t}, \theta_{t,v} $ 均为随机变量。

5.2 ASUM

1. 论文 Aspect and sentiment unification model for online review analysis 中提出了 sentence-LDA 以及扩展了 sentence-LDA 的 ASUM 模型。

   ASUM（Aspect and Sentiment Unification Model ）同时对评论的主题以及评论的情感进行建模。它认为客户撰写评论的方式为：（以餐馆评论为例）：

   • 首先决定餐馆评价的好坏概率分布，如：70%是满意的，30%是不满意的。
   • 然后对每个情感给出其评价主题概率分布。如：满意的主题概率分布为：50%是服务，25%是食物，25% 是价格。
   • 最后对每个句子，表达一个主题和一个情感。即：每个句子中所有的单词背后都是同一个主题，也是同一个情感。

2. ASUM 文档生成过程：

   • 对每一个主题-情感 对（情感为 $ \text{senti}_e $ ，主题为 $ \text{topic}_t $ ），从 $ \vec\beta $ 的狄利克雷分布随机采样，得到该主题和该情感下的单词分布： $ \vec\theta_{e,t}=(\theta_{e,t,1},\theta_{e,t,2},\cdots,\theta_{e,t,V}) $ 。每个主题-情感采样一次，一共采样 $ E\times T $ 次。

     其中 $ E $ 为情感的总数。

   • 对每篇文档 $ \mathcal D_i $ ：

     • 根据参数为 $ \vec\gamma $ 的狄利克雷分布随机采样，生成文档 $ \mathcal D_i $ 的一个情感分布 $ \vec\pi_i=(\pi_{i,1},\pi_{i,2},\cdots,\pi_{i,E}) $ 。每篇文档采样一次。

     • 对每个情感 $ e $ ，根据参数为 $ \vec\alpha $ 的狄利克雷分布随机采样，生成生成文档 $ \mathcal D_i $ 的一个话题分布 $ \vec\varphi_{i,e}=(\varphi_{i,e,1},\varphi_{i,e,2},\cdots,\varphi_{i,e,T}) $ 。每篇文档采样一次。

     • 对文档 $ \mathcal D_i $ 中的每个句子：

       • 从情感分布 $ \vec\pi_i $ 中采样一个情感 $ e $ ，然后从话题分布中 $ \vec\varphi_{i,e} $ 中采样一个话题 $ \text{topic}_t $ ，然后从主题-情感的单词分布 $ \vec\theta_{e,t} $ 采样 $ n_{i,s} $ 个单词 。 $ s $ 为句子的编号。

         此时这些单词的话题都是 $ \text{topic}_t $ 。

       • 重复生成 $ n_i $ 个句子，得到一篇包含 $ n_i $ 个句子的文档。

     • 重复执行上述文档生成规则 $ N $ 次，即得到 $ N $ 篇文档组成的文档集合 $ \mathbb D $ 。

     

3. 与 LDA 模型不同，ASUM 模型中的 $ \vec\beta $ 参数是非对称的：如 good,great 不大可能会出现在负面情感中，bad,annoying 不大可能出现在正面情感中。

4. ASUM 的吉布斯采样概率为：

   $ p(\text{senti}_{e},\text{topic}_{t} \mid \mathbf{SENTI}_{\neg{(i,s)}},\mathbf{TOPIC}_{\neg{(i,s)}},\mathbf{WORD}) \propto\\ \frac{n_{x}^{\prime}(i,e)+\gamma_e}{\sum_{e^\prime=1}^ E n_{x}^{\prime}(i,e^\prime) +\gamma_{e^\prime}}\times \frac{n_{s}^{\prime}(i,e,t)+\alpha_t}{\sum_{t^\prime=1}^ Tn_{s}^{\prime}(i,e,t^\prime) +\alpha_{t^\prime}}\\ \times\frac{\Gamma(\sum_{v=1}^V n_v^{\prime}(e,t,v)+\eta_{e,v})}{\Gamma\left(m_s+\sum_{v=1}^V(n_v^{\prime}(e,t,v)+\eta_{e,v}) \right)}\times \prod_{v=1}^V\frac{\Gamma(n_v^{\prime}(e,t,v)+\eta_{e,v}+m_{s,v})}{\Gamma(n_v^{\prime}(e,t,v)+\eta_{e,v})} $

   各参数的意义为：

   • $ p(\text{senti}_{e},\text{topic}_{t} \mid \mathbf{SENTI}_{\neg{(i,s)}},\mathbf{TOPIC}_{\neg{(i,s)}},\mathbf{WORD}) $ ：已知所有单词、除了第 $ i $ 篇文档的第 $ s $ 个句子之外的所有句子的主题，以及除了第 $ i $ 篇文档的第 $ s $ 个句子之外的所有句子的情感的情况下，第 $ i $ 篇文档的第 $ s $ 个句子的情感为 $ \text{senti}_e $ 、主题为 $ \text{topic}_t $ 的概率。
   • $ n_x^\prime(i,e) $ ：排除第 $ i $ 篇文档的第 $ s $ 句之外，第 $ i $ 篇文档中属于情感 $ e $ 的句子的数量。
   • $ n_{s}^{\prime}(i,e,t) $ ：排除第 $ i $ 篇文档的第 $ s $ 句之外，第 $ i $ 篇文档中情感 $ e $ 的且属于主题 $ t $ 的句子的数量。
   • $ n_v^{\prime}(e,t,v) $ ：排除第 $ i $ 篇文档的第 $ s $ 句之外，数据集 $ \mathbb D $ 中属于情感 $ e $ 且属于主题 $ t $ 的词汇 $ v $ 的数量。
   • $ \gamma_e $ ：文档-情感计数中，情感 $ e $ 的先验计数； $ \alpha_t $ ：文档-主题计数中，主题 $ t $ 的先验计数； $ \eta_{e,v} $ ：主题-单词计数中，属于情感 $ e $ 的单词 $ v $ 的先验计数。
   • $ m_s $ ：第 $ i $ 篇文档的第 $ s $ 句的单词总数； $ m_{s,v} $ ：第 $ i $ 篇文档的第 $ s $ 句的词汇 $ v $ 的总数。

5. ASUM 得到的文档-情感概率分布为：

   $ \hat\pi_{i,e} = \frac{n_{x} (i,e)+\gamma_e}{\sum_{e^\prime=1}^ E n_{x} (i,e^\prime) +\gamma_{e^\prime}} $

   文档的情感-主题分布为：

   $ \hat \varphi_{i,e,t} = \frac{n_{s} (i,e,t)+\alpha_{e,t}}{\sum_{t^\prime=1}^ Tn_{s} (i,e,t^\prime) +\alpha_{e,t^\prime}} $

   主题-单词概率分布为：

   $ \hat\theta_{e,t,v} = \frac{ n_v (e,t,v)+\eta_{e,v} }{ \sum_{v^\prime=1}^V(n_v (t,e,v^\prime)+\eta_{e,v^\prime}) } $

   其中：

   • $ n_{x} (i,e) $ ：文档 $ i $ 中，属于情感 $ e $ 的句子数量； $ n_{s} (i,e, t) $ ：文档 $ i $ 中，属于情感 $ e $ 和主题 $ t $ 的句子数量； $ n_v(e,t,v) $ ：数据集 $ \mathbb D $ 中，属于情感 $ e $ 和主题 $ t $ 的单词 $ v $ 的数量。
   • $ \alpha_{e,t} $ ：文档中，属于情感 $ e $ 和主题 $ t $ 的 情感-主题二元对的先验计数。
   • $ \hat\pi_{i,e}, \hat\varphi_{i,e,t},\hat\theta_{e,t,v} $ 其实分别是 $ \pi_{i,e}, \varphi_{i,e,t}, \theta_{e,t,v} $ 的期望值，因为 $ \pi_{i,e}, \varphi_{i,e,t}, \theta_{e,t,v} $ 均为随机变量。

6. ASUM 和 SLDA可以用于以下用途：

   • 利用 SLDA 进行评论的主题抽取。

   • 利用 ASUM 进行 情感-主题 的抽取。

   • 自适应的扩展特定主题下的情感词。

     • 首先进行情感-主题 合并。以词的分布为向量，计算情感-主题 的两两余弦相似度。如果结果超过一个阈值，则认为二者是相同的。
     • 计算词的出现概率。如果一个单词在所有情感-主题 下都有高概率，则它是一个通用词；如果它仅仅在一个情感-主题 下有高概率，则它是一个特定主题下的情感词。

   • 无监督情感分类。根据 $ \hat \pi_{i,e} $ 中，各情感的分布来执行分类。

     其中需要引入先验知识： $ e $ 的取值是多少才代表正面情感。这需要观察情感-主题 词的分布，由人工指定。