Question

1. 循环神经网络recurrent neural network:RNN ：用于处理序列数据 $ \mathbf x_i = \{\mathbf{\vec x}^{(1)}_i,\mathbf{\vec x}^{(2)}_i,\cdots,\mathbf{\vec x}^{(\tau_i)}_i\} $ 的神经网络，其中 $ \mathbf x_i $ 表示第 $ i $ 个样本。 $ \mathbf x_i $ 是一个序列 ，序列的长度可以是固定的、也可以是变化的。

   • 固定的序列长度：对每个样本 $ \mathbf x_i $ ，其序列长度都是常数 $ \tau_i = \tau $ 。
   • 可变的序列长度：样本 $ \mathbf x_i $ 的序列长度 $ \tau_i $ 可能不等于样本 $ \mathbf x_j $ 的序列长度 $ \tau_j,i\ne j $ 。

2. 循环神经网络是一种共享参数的网络：参数在每个时间点上共享。

   传统的前馈神经网络在每个时间点上分配一个独立的参数，因此网络需要学习每个时间点上的权重。而循环神经网络在每个时间点上共享相同的权重。

3. 循环网络中使用参数共享的前提是：相同参数可以用于不同的时间步。即：前一个时间步和后一个时间步之间的关系与时刻 $ t $ 无关。

4. 就像几乎所有函数都可以被认为是前馈神经网络，几乎任何涉及循环的函数都可以被认为是循环神经网络。