论文信息
作者与发表年份可查阅 arXiv 记录。本文的方法说明对应论文正文第 3 节。
论文研究的问题
论文针对序列转换任务提出 Transformer,用注意力组织序列位置之间的信息交互,替代其架构中的递归与卷积结构。作者在机器翻译任务中进行评估;这些结果属于原论文实验,不是本示例的测量结果。
论文中的核心计算
论文第 3.2.1 节定义缩放点积注意力:
可以依次阅读为:用 query 与 key 计算分数,缩放并归一化分数,再对 value 加权求和。这里仅摘取一项计算,不把它当作完整 Transformer 的全部结构。
独立构造的手算示例
以下数值是为讲解自行选取的,不是论文数据。
令查询和两个键都是一维数值,使缩放后得到两个分数 和 ;对应的两个 value 为 和 。归一化权重为:
于是输出是 ,约为 。这能检查公式是否按预期实现,却不能证明模型在真实任务上的有效性。
Attention weighted average
PythonYour output will appear here.
阅读中的理解与疑问
一种有帮助的理解方式,是把“查找依据”和“要取回的信息”分开思考:前者决定权重,后者参与最后的求和。这是对公式的教学解释,不是额外的论文结论。
进一步阅读时,可以自己记录三个问题:张量的每个轴代表什么、归一化沿哪个轴进行、哪些位置允许互相访问。只有把这些约定写清楚,公式才不容易在实现时变形。
实验与局限的记录方式
正式论文笔记应把数据集、评估指标和实验设置与原文逐一核对。本文没有训练模型,也没有新的精度或速度测量,因此不填写虚构的复现实验表格。
这个两元素例子只验证加权平均。它没有覆盖批处理、序列掩码、多头拼接或训练过程。
关联阅读
归一化计算为什么可以先减去最大值,可以继续看Softmax 数学示例。读论文时也可以先做这种可手算的最小验证,再扩大实现范围。