注意机制中的矩阵操作

Question

我正在阅读一篇有关用于金融的变压器机器学习模型的文章。我试图理解体系结构背后的数学，但是我未能理解这部分：

尤其是，我不明白为什么操作之间的尺寸不匹配。 根据我的理解：

1. 步骤（8）： u 应为 m（d_model，1）
2. 步骤（9）：这是不可能的，因为矩阵乘法维度与执行操作不匹配： m（d_model，k）。 m（1，d_model）

这是研究的完整部分：

我想，我想，我对此表示符号 “非线性将矩阵M向u投射到u” 句子。

有人可以启发我吗？

基于变压器的股票运动预测的注意力网络，2022年， Qiuyue Zhang，Chao Qin，Yunfeng Zhang，Fangxun Bao，Caimingzhang，Peide Liu

Answer 1

如果您没有代码或与作者联系，则使用此文本，我们必须猜测错误在哪里。

我的猜测

1. $ w_m^m $在等式中，是$ w_m^m $
2. softmax输出实际上是计算$ u^t $，而不是$ u $
3. eq。 9应该是$ m^t u^t $，而不是$ m u^t $

另一个假设是它们具有如所述的方程式，它们有一个工作代码，并且在编写论文时，他们计算出矩阵的维度错误。

我不知道我是否会相信将来发行日期的论文，而引用为零。

！