Question

长短期记忆是另外一种和 GRUs 不同的复杂的激活单元。它的作用是 GRUs 相似，但是在单元的结构上有一些不一样。在深入介绍 LSTM 设计之前，首先让我们来看一看它的数学方程。

图 11：LSTM 详细结构图

我们来按照下面的步骤理解 LSTM 结构以及它背后的意义：

1. 新记忆产生： 这个状态和 GRUs 中的新记忆产生状态是一样的。我们必须使用输入词和过去隐层状态来产生新的记忆，包括了新词.
2. 输入门： 在产生新记忆之前，我们需要判定一下我们当前看到的新词到底重不重要，这就是输入门的作用。输入门根据输入词和过去隐层状态共同判定输入值是否值得保留，从而判定它以何种程度参与生成新的记忆（或者说对新的记忆做一个约束)。因此，它可以作为输入信息更新的一个指标。
3. 遗忘门： 这个门和输入门很类似。但是它不能决定输入词有效，它能对过去记忆单元是否对当前记忆单元的计算有用做出评估。
4. 最终记忆产生： 这个阶段会根据遗忘门的作用结果，合理地忘记部分过去的记忆。再根据输入门的作用结果，产生新记忆。它将这两个结果加融合起来产生了最终的记忆。
5. 输出门： 这是一个 GRUs 里没有显性存在的门。它的目的是从隐层状态分离最终的记忆。最终记忆包含了大量不必需要保存在隐层状态的信息，这个门限能够评估关于记忆哪部分需要显示在隐层状态中。用于评估这部分信息的中间信号叫做，它和的点乘组成最后的。