目录
深度学习中的注意力机制(Attention Mechanism)是一种模仿人类视觉和认知系统的方法,它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制,神经网络能够自动地学习并选择性地关注输入中的重要信息,提高模型的性能和泛化能力。
下图 展示了人类在看到一幅图像时如何高效分配有限注意力资源的,其中红色区域表明视觉系统更加关注的目标,从图中可以看出:人们会把注意力更多的投入到人的脸部。文本的标题以及文章的首句等位置。
具体计算过程:
①根据Query和Key计算两者的相似性或相关性。常见方法:求两者的向量点积(内积)、求两者向量Cosine相似性、引入额外的神经网络求值(MLP)。
②对注意力得分进行softmax归一化处理。
③根据权重系数对value进行加权求和。