Question

引言

对话系统是当前的研究热点，也是风险投资的热点，从 2016 年初开始，成立了无数家做 chatbot、语音助手等类似产品的公司，不管是对用户的，还是对企业的，将对话系统这一应用推到了一个新的高度。seq2seq 是当前流行的算法框架，给定一个输入，模型自动给出一个不错的输出，听起来都是一件美好的事情。seq2seq 在对话系统中的研究比较多，本期 PaperWeekly 分享 4 篇的 paper notes，涉及到如何提高所生成对话的流畅度和多样性，使得对话系统能够更加接近人类的对话。4 篇 paper 如下：

1、Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation, 2016

2、A Simple, Fast Diverse Decoding Algorithm for Neural Generation, 2016

3、DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS, 2016

4、A Diversity-Promoting Objective Function for Neural Conversation Models, 2015

Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation

作者

Lili Mou, Yiping Song, Rui Yan, Ge Li, Lu Zhang, Zhi Jin

单位

Key Laboratory of High Confidence Software Technologies (Peking University), MoE, China

Institute of Software, Peking University, China

Institute of Network Computing and Information Systems, Peking Univerity, China

Institute of Computer Science and Technology, Peking University, China

关键词

content-introducing approach

neural network-based

generative dialogue systems

seq2BF

文章来源

arXiv, 2016

问题

使用引入内容方法，用于处理基于神经网络的生成式对话系统

模型

该模型由两部分组成：

1、use PMI to predict a keyword for the reply

使用逐点互信息(PMI) 进行预测，选取 PMI 值最大的单词作为回答中的关键词，该关键词可以出现在回答语句中的任意位置。

2、generate a reply conditioned on the keyword as well as the query

使用 sequence to backward and forward sequences(seq2BF) 模型来生成包含关键词的回答。以该关键词为基点，将回答语句划分为两个序列：

(1) 反向序列：关键词左侧的所有单词以逆序排列

(2) 正向序列：关键词右侧的所有单词以顺序排列

seq2BF 模型具体工作如下：

(1) 使用 seq2seq 神经网络将问题编码，仅对关键词左侧的单词进行解码，逆序输出每个单词

(2) 使用另一个 seq2seq 模型将问题再次编码，在给定上步中解码后的逆序单词序列下，对回答中的剩余单词进行顺序解码，输出最终单词序列

资源

Dataset：

相关工作

1、 Dialogue Systems

(1) (Isbell et al., 2000; Wang et al., 2013) retrieval methods

(2) (Ritter et al., 2011) phrase-based machine translation

(3) (Sordoni et al., 2015; Shang et al., 2015) recurrent neural networks

2、 Neural Networks for Sentence Generation

(1) (Sordoni et al., 2015) bag-of-words features

(2) (Shang et al., 2015) seq2seq-like neural networks

(3) (Yao et al., 2015; Serban et al., 2016a) design hierarchical neural networks

(4) (Li et al., 2016a) mutual information training objective

简评

本文的创新点在于，不同与目前普遍存在的从句首到句尾顺序生成目标单词的方法，引入逐点互信息方法来预测回答语句中的关键词，使用 seq2BF 机制确保该关键词可以出现在目标回答语句的任意位置之中并确保输出的流利度，相比于 seq2seq 的生成方法显著地提升了对话系统的质量。

A Simple, Fast Diverse Decoding Algorithm for Neural Generation作者

Jiwei Li, Will Monroe and Dan Jurafsky

单位

Stanford

关键词

seq2seq, diversity, RL

文章来源

arXiv, 2016

问题

seq2seq 模型 decoder 时改进 beam search，引入惩罚因子影响排序结果，并加入强化学习模型来自动学习 diversity rate，使得解码出的结果更具多样性

模型

对比标准 beam search，本模型引入惩罚因子，公式如下

其中$gamma$称为 diversity rate，k’范围为[1,k]，K 为 beam size

强化学习模型中，策略为

reward 为评价指标，例如机器翻译中的 BLEU 值等

资源

1、回复生成实验数据集：OpenSubtitles

（代码模型可从作者另外一篇文章的源码稍加改动）

2、机器翻译数据集：WMT’14

相关工作

简评

本模型的创新点在于引入惩罚因子，使得 decoder 时对 standard beam search 算法进行重排序，并引入强化学习模型，自动学习 diversity rate。作者分别在三个实验上进行验证，机器翻译、摘要抽取与对话回复生成，实验表明在不同的实验上有不同的表现，但是总体而言本方法能够在一定程度上解码出更具有多样性的句子。（思路简明清晰，对于传统的 beam search 稍加改动，原文中作者提到在 Matlab 代码中只改动一行即可）

DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS作者

Ashwin K Vijayakumar, Michael Cogswell, Ramprasath R. Selvaraju, Qing Sun1 Stefan Lee, David Crandall & Dhruv Batra

单位

Virginia Tech, Blacksburg, VA, USA

Indiana University, Bloomington, IN, USA

关键词

Beam Search; Diversity; Image Caption; Machine Translation; Visual Question Answer; Chatbot

文章来源

arXiv, 2016.10

问题

如何改进 beam search 解码算法，使其在 seq2seq 模型中可以生成更加丰富的结果？

模型

经典的 beam search 算法以最大后验概率作为优化目标函数，每一个 time step 只保留 B 个最优的状态，是一种典型的贪心算法，这个经典算法常常被用于解码可选状态数量多的情形，比如生成对话、生成图片描述、机器翻译等，每一步都有词表大小的可选状态集。seq2seq 模型的流行，让这种解码算法的研究变得热门。在生成对话任务时，用经典的 beam search 会生成类似“我不知道”等这种没有营养的对话，虽然没有语法上的错误，而且可能在一定的评价体系内会得到不错的分数，但实际应用效果太差，因此 diversity 的研究变得热门。

本文针对 diversity 的问题，提出了一种改进版的 beam search 算法，旨在生成更加多样性的话。

新算法的主要思路是将经典算法中的 Beam 进行分组，通过引入一个惩罚机制，使得每一组的相似度尽量低，这一项保证了生成的话相互之间差异更大一些，即满足了多样性的需求，在每一组 Beam 中，用经典的算法进行优化搜索。具体的算法流程如下图：

实验中，用了 Image Caption、Machine Translation 和 VQA 三个任务进行了对比，验证了本文算法的有效性，并且对算法中的几个参数进行了敏感度分析，分析了分组数对多样性的影响。

资源

1、本文算法 torch 实现

2、本文在线 demo dbs.cloudcv.org

3、neuraltalk2 实现

4、机器翻译开源实现 dl4mt

相关工作

相关的工作主要分类两类：

1、Diverse M-Best Lists

2、Diverse Decoding for RNNs

之前 Jiwei Li 将解码算法的目标函数换成了互信息进行优化解码，对 diversity 进行了研究。

简评

本文研究的问题是一类基础问题，beam search 算法作为一种经典的近似解码算法，应用的场景非常多。但在实际应用中，尤其是具体到生成对话、生成答案等任务上，存在一些适应性的问题，比如 diversity。只是生成简单而又安全的话对于实际应用没有太多的意义，所以本文的研究非常有意义。本文的实验从三个不同的任务上对改进后的 beam search 都做了对比验证，非常扎实的结果验证了算法的有效性，并且对几个关键参数进行了敏感度分析，有理有据。同时在 github 上开源了代码，并且给出了一个在线 demo。在评价方面，不仅仅设计了几个自动评价指标，而且用了人工评价的方法对本文算法进行了验证，是一篇非常好的 paper，值得学习。

A Diversity-Promoting Objective Function for Neural Conversation Models作者

Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, Bill Dolan

单位

Stanford University, Stanford, CA, USA

Microsoft Research, Redmond, WA, USA

关键词

Sequence-to-sequence neural network models, conversational responses, Maximum Mutual Information(MMI)

文章来源

arXiv, 2015

问题

使用 MMI 训练 sequence-to-sequence model for conversational responses generation

传统的 ML(最大似然估计) 在训练 sequence-to-sequence model 的时候，易产生与输入无关的’safe’ responses(最大似然估计的弊病—-always try to cover all mode of input data)

作者通过使用 MMI, 最大化输入与输出的互信息，能够有效避免与输入无关的 responses，得到更为 diverse 的 responses.

模型

MMI 最早在 speech recognition 中提出并应用(discriminative training criteria). 语音识别中，通常先用 ML 训练声学模型，然后再接 MMI 和语言模型，对声学模型进一步调优。

在本文中，作者通过提出 MMI 用于 seq-to-seq model 的优化。作者提出了 MMI-antiLM 和 MMI-bidi 两个不同的 MMI 的 formulations. MMI 在 seq-to-seq 的应用中存在 decoding 的问题。

MMI-antiLM 中，作者通过使用带有权重的 LM 以生成更为 diverse 的 responses by penalizing first word。

MMI-bidi 中，搜索空间的数目过大，导致 expolring 所有的可能性在实际中无法实现。作者首先产生 N-best list, 然后根据相应的准则函数 re-rank 得到的 N-best list。

在 MMI 不同的 formulation 中，作者通过启发式的设计，使得 decoding 更为容易且产生的 response 更为 diverse，在相关的数据集上取得了较好的 BLEU 且产生的 response 更为 diverse。

简评

最大后验概率通常作为优化的目标函数，但很多应用场景中得到的结果并不理想。本文采用了一个新的而且也是其他领域中比较常见的目标函数来替换最大后验概率，在生成对话时得到了更加丰富的结果。

总结

对话系统是一个相对高级的、综合性很强的任务，所依赖的基础任务比较多，比如分词、命名实体识别、句法分析、语义角色标注等等。对于规范的中文表达而言，句法分析仍是一个没有解决好的问题，更何况是不那么规范的人话，句法分析的准确性又要下一个 level 了，随之语义角色标注也得不到好的效果。经典的、基础的任务还有很长的路要走，对话系统这种更难、更复杂的任务相信不是一年、两年就可以突破的事情，虽然现在大热，做的人很多，但就目前的研究水平来看，应该还有很长的路要走。seq2seq 是个逃避这些问题的好方法和好思路，但相对来说更加不成熟，而且存在着很多的问题，想通过大量的数据来覆盖所有的问题，是一种不太科学的思路。我想，seq2seq 是个好方法，但传统的 NLP 方法也是必不可少的，而且两者应该是相互补充的。越多的人关注对话系统，就会越快地推动这个领域的发展，希望早日看到靠谱的、成熟的解决方案。