Question

语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为的词汇序列的联合概率被表示为。由于在得到具体的词汇之前我们会先知道词汇的数量，词汇的属性变化会根据其在输入文档中的位置而定，而联合概率的计算通常只考虑包含个前缀词的词窗口而非考虑全部的前缀词：

公式 1 在语音识别和机器翻译系统中对判定一组词序列是否为相应输入序列的正确生成结果有着极为重要的作用。在一个给定的机器翻译系统中，针对各个短语或句子的翻译任务，软件通常被要求生成一组替代词序列（例如： “我已经”；“我曾有”；“我有”；“被我已经”；“被我占有” ）以及它们的得分以判定它们是否能组成最优的翻译序列。

在机器翻译任务中，模型通过计量和比较各个替换输出词序列之间的得分 优劣 ，从它们中为输入短语寻找最佳的答案词序列。为了完成这项工作，模型需要经常在词排序和词选择两个任务模型之间切换。而上面提到的目标将通过为所有的候选词序列设置概率计算函数而达成，这个函数将比较这些候选词序列各自的得分。获得最高得分的候选词序列就是机器翻译任务的输出。例如：相比例句 “小的这只猫真是” ，机器会给例句 “这只猫真小” 更高的评分，相比 “放学后步行去房子” ， “放学后步行回家” 会得到更高的得分。为了计算这些概率，将比较统计 n 元语言模型和词频模型的效果。比如，如果选择 2 元语言模型，语义 2 元组的词频通过统计当前词和其前面一个词，这就需要与 1 元语法模型的词频计算方法区分开来。公式 2 和 3 分别展示了 2 元语义模型和 3 元语义模型在处理这种关系时的做法。

公式 3 中表现出来的关系集中于基于上下文中固定窗口内容（例如：个前缀词范围）对后续词的预测。在某些情况下，仅仅抽取个前缀词作为窗口范围可能不足以很好地捕捉上下文信息。例如，当一篇文章在后段着重描写西班牙与法国的历史，而在前文中，当你读到“这两个国家走向了战争”这句话时，仅有此句的前文显然不能够让我们识别出这两个国家的命名实体。Bengio 等人提出了第一个大规模的深度学习自然语言处理框架，此框架能够通过 学习得到词汇的分布化表征 捕捉上面提到的这种上下文关系；图 1 展示了这种神经网络的框架。在这个模型中，输入词向量在隐层和输出层均得到使用。公式 4 展示了引入标准 tanh() 函数的 softmax() 分类函数中的各个参数，这个函数起到线性分类器的作用，,这一组短式代表全体前缀词的输入词向量。

然而，在所有传统的语言模型中，由于包含长窗口的语言记忆信息规模会随着系统的运行呈指数式的增长，所以面对较大型的词窗口，如果不将记忆信息单独抽离处理，上面的任务几乎是不可能完成的。

图 1