Memory模块是该神经网络架构的核心部分。它包含一个存储键值对的内存,并定义了对内存的读写操作。读操作通过计算查询向量与内存中键向量之间的相似度来检索相关内容。写操作根据查询向量和相关度分数,更新内存中的键值对。该模块还包含了用于训练的损失函数,用于增强内存的区分性和紧凑性。整个模块的目标是建立一个可查询和自更新的记忆系统,支持神经网络的学习和推理。

本文介绍了注意力机制在计算机视觉和自然语言处理任务中的应用。首先解释了不使用注意力机制的传统模型存在的问题,如缺乏泛化能力、长期依赖问题、瓶颈问题等。然后分别介绍了在图像描述任务和机器翻译任务中使用注意力机制的方法,说明了注意力机制如何解决传统模型的缺陷。最后介绍了 Transformer 模型及其中的 Self-Attention 机制,指出 Self-Attention 可以有效捕获输入序列中元素之间的相关性,从而避免了 RNN 等时序模型存在的梯度问题。