为什么不使用x = data [0：n]和y = data [n＆＃x2b; 1]训练RNN（但是x = data [0：n]和y = data [1：n＆＃x2b; 1]）？

Question

这是一个将军，我认为有关如何设置经常性神经网络的非常基本/基本的问题。为此，让我们假设我们正在训练一种自回归语言模型，该模型试图预测某些文本中的下一个字符。

当我查看训练RNN的现有实现时，我通常会发现，馈送给这些RNN的数据是一定长度的片段，其中输入和输出的形状相同，但相对于彼此相对移动（一个样本）（因此，预测变量x是数据[0：n]，而预测Y是数据[1：n+1]）。 在此类RNN的末尾，我们通常会找到从隐藏状态H_T到类数量的某种映射（+softmax）（此处：字符）。通常，这似乎会为每个输入时间样本产生一个类标签，即，我们为每个输出样本获得了类标签预测。换句话说，我们使用隐藏状态在看到x [0]（h_t = 0）之后从prejector [0]预测y [0]，我们使用（h_t = 1）从x [1]预测y [1] ，等等。

我发现这令人惊讶，因为我认为RNN的全部要点是在一定时间内“建立” /“开发”隐藏状态。即，在上述情况下，我希望我们只能生成数据[n+1]（即y [n]）的单个预测，使用h_t = n（在其中h正在集成并因此利用整个历史记录长度由数据加载器定义）。 如果隐藏的状态随机启动，然后只看到1个单个数据样本，我天真地认为，当它看到n个数据点时，它应该执行得更糟。如果从隐藏状态到输出的映射是通过这种次优的“过早”状态训练的，那么它是否应该在补偿过早状态和理想地利用“成熟”隐藏状态的信息之间汇总某些折衷方案？

但是，通常，当我尝试以我认为应该更有意义的方式设置RNN时，它也不正常（我会遇到更严重的验证损失）。这可能是出于多种原因（鉴于我没有提供我的代码），但是如果有良好的理论动机，有人可以启发我，为什么RNN（和Transformers）通常不会给出preadionor = data [0： n]和preditionee = data [n+1]？

Answer 1

这可能不是完美的解释，我建议您对RNN及其内部工作进行一些阅读，但我将在解释方面做一个镜头。

RNN的重点是能够在每个时间点预测下一个输出，这就是它建立状态的方式。通过采用以先验输出为条件的联合概率分布，您需要学习预测y_t by （p（y_t | y_（t-1），y_（t-2），y_（t-2），。 ..）

。您建议的方式，但要多次，直到序列的长度为

。 /code>。我们重复此过程，直到我们预测最终单词t_n

t_0           -> t_1
t_0, t_1      -> t_2
t_0, t_1, t_2 -> t_3
...

。代码>时间，我们也没有记录如何计算先前的输出。此参数编码已经进行的计算直到TimePoint t。因此，上述计算链变成

s = 0
s_0, t_0  ->  s_1, t_1
s_1, t_1  ->  s_2, t_2
s_2, t_2  ->  s_3, t_3
...

如果隐藏的状态是随机启动的，然后只看到1个单个数据样本，我会天真地认为，当它看到n个数据点

如果您提供的模型就是一个，则在看到n个数据点时，它应该执行得更糟，而这确实是这种情况。随机隐藏状态和一些输入，可以说字母a。然后，您的模型只会输出一些随机值。同样，如果您始终将隐藏状态初始化为0，那么您的模型将充当奇特的查找表，并且只需在培训数据中选择最常见的a。

但是，通常，对于语言模型，您已经在某些输入上调节/提示您的模型。例如。在可能是句子的机器翻译中，在图像标题生成中，它将是编码图像特征。

这使我们回到了这样一个想法，即我们实际上是从data [0：n]中预测数据[n+1]。然后反复将输出附加到输入上以预测下一个输出。

那么，为什么您的培训方式不工作呢？我认为这是因为您不允许模型学习整个联合概率空间。您只是说，如果我有此序列n我想预测他的单数输出y，而不是允许模型学习最终导致<<的预测链代码> y 。