从原理到实战：最简单的transformer教程二：全部注意力机制

自注意力机制单头主要做的事情1、计算 X 之间的关联程度2、关联程度提取 X 的有用信息。3、输出包含不同注意力分配的信息。直接理解注意力权重α′只代表“看哪里、看多少”它本身没有携带任何语义信息。我们需要把权重应用到实际的“内容”v上才能提取出融合了上下文的新特征。矩阵理解多头注意力机制拼接得到的结果WO是啥并且还负责把维度拉回掩码多头自注意力机制填充掩码多头交叉注意力机制、交叉注意力 与自注意力的区别