论文部分内容阅读
<正>神经网络中的注意力机制(Attention mechanisms),也被称为"神经注意力"或"注意力",最近吸引了广泛的注意力(双关语)。而在接下来的这篇文章中,我将描述和实现两种软视觉注意力机制。什么是注意力(attention)一种非正式的说法是,神经注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力:选择特定的输入。这可以是x∈R^d一个输入,z∈R^k一个特征向量,a∈[0,1]^k一个注意力向量或fφ(x)注意力网络。通常来说,注意力为: