目录

Q、K、V怎样学习到不同的特性

注意力机制和自注意力区别

Q、K、V怎样学习到不同的特性

• Q = XW_Q：Query向量表示“我想要找什么”，通过输入向量X与权重矩阵W_Q的乘积得到。
• K = XW_K：Key向量表示“我有什么”，通过输入向量X与权重矩阵W_K的乘积得到。
• V = XW_V：Value向量表示“我能提供什么信息”，通过输入向量X与权重矩阵W_V的乘积得到。