文章目录Attention注意力机制的公式解析一、基本形式二、组成部分解释三、作用机制四、应用价值Attention注意力机制的公式解析P.S. 关于Self-Attention自注意力机制的更详细信息可以看我的这一篇文章Self-Attention机制详解Transformer的核心引擎。一、基本形式A t t e n t i o n ( Q , K , V ) s o f t m a x ( Q K T d ) V Attention(Q,K,V)softmax(\frac{QK^T}{\sqrt{d}})VAttention(Q,K,V)softmax(d​QKT​)V二、组成部分解释输入参数Q (Query):查询矩阵K (Key):键矩阵V (Value):值矩阵d: 键向量的维度可以把注意力机制理解成一个信息检索过程名称中文作用直观理解Q (Query)查询向量表示当前 Token 想找什么信息我想知道什么K (Key)键向量表示每个 Token 可以通过什么特征被匹配我有什么信息值得关注V (Value)值向量表示每个 Token 实际提供的信息我能提供什么内容核心思想是使用 Q 和 K 计算注意力权重再利用这些权重对 V 进行加权求和。e.g.①假设 Transformer 正在处理这句话“小明买了一台电脑因为它运行速度很快。”模型需要理解“它”指代什么。Q想寻找自己指代的对象的内容即“它”。K“小明”“电脑”等 Token 提供各自的匹配特征。V这些 Token 携带着可供提取的语义信息。如果“它”的 Q 与“电脑”的 K 匹配程度很高模型就会给“电脑”对应的 V 较大的注意力权重。这样“它”的新表示就能融合更多与“电脑”相关的信息。②或者还有一种理解Q就像钥匙想要找对应的保险柜K像保险柜与钥匙配套的锁V是想找到的保险柜里面的东西。上述①②两种说法都是直观解释真实模型的 Q、K、V 是通过训练得到的高维数值向量不一定具有如此明确的人类语义。计算步骤a.计算注意力分数Q K T d \frac{QK^T}{\sqrt{d}}d​QKT​将Q与K的转置相乘除以缩放因子d \sqrt{d}d​以防止梯度消失b.归一化s o f t m a x ( Q K T d ) softmax(\frac{QK^T}{\sqrt{d}})softmax(d​QKT​)使用softmax函数将分数转换为概率分布关于softmax函数的相关信息可以参见Softmax 函数详解确保所有权重和为1c.加权求和将归一化后的权重与V相乘得到最终的注意力输出三、作用机制相关性计算Q K T QK^TQKT计算查询和键之间的相关性高相关性会得到更大的权重缩放处理d \sqrt{d}d​用于缩放点积结果防止维度d较大时softmax函数梯度消失权重分配softmax确保权重为正且和为1实现对不同位置信息的软性选择四、应用价值信息筛选自动识别重要信息忽略不相关信息长距离依赖捕捉序列中的长距离依赖关系克服传统RNN的局限性并行计算支持并行处理提高计算效率