← Back to the notebookVEINSURE / WRITING

Paper Notes

论文笔记示例:Attention Is All You Need

以真实论文为引用,区分论文主张、自己的理解和一个独立构造的注意力手算示例。

论文信息

作者与发表年份可查阅 arXiv 记录。本文的方法说明对应论文正文第 3 节。

论文研究的问题

论文针对序列转换任务提出 Transformer,用注意力组织序列位置之间的信息交互,替代其架构中的递归与卷积结构。作者在机器翻译任务中进行评估;这些结果属于原论文实验,不是本示例的测量结果。

论文中的核心计算

论文第 3.2.1 节定义缩放点积注意力:

Attention⁡(Q,K,V)=softmax⁡(QK⊤dk)V\operatorname{Attention}(Q,K,V) = \operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

可以依次阅读为:用 query 与 key 计算分数,缩放并归一化分数,再对 value 加权求和。这里仅摘取一项计算,不把它当作完整 Transformer 的全部结构。

独立构造的手算示例

以下数值是为讲解自行选取的,不是论文数据。

令查询和两个键都是一维数值,使缩放后得到两个分数 11 和 00;对应的两个 value 为 1010 和 22。归一化权重为:

w1=ee+1,w2=1e+1w_1 = \frac{e}{e+1},\qquad w_2 = \frac{1}{e+1}

于是输出是 10w1+2w210w_1 + 2w_2,约为 7.8484697.848469。这能检查公式是否按预期实现,却不能证明模型在真实任务上的有效性。

Attention weighted average

Python
OUTPUTLoading editor…

Your output will appear here.

Runs locally in your browser · Pyodide 0.26.4 · 10s execution limit · 64 KiB output

阅读中的理解与疑问

一种有帮助的理解方式,是把“查找依据”和“要取回的信息”分开思考:前者决定权重,后者参与最后的求和。这是对公式的教学解释,不是额外的论文结论。

进一步阅读时,可以自己记录三个问题:张量的每个轴代表什么、归一化沿哪个轴进行、哪些位置允许互相访问。只有把这些约定写清楚,公式才不容易在实现时变形。

实验与局限的记录方式

正式论文笔记应把数据集、评估指标和实验设置与原文逐一核对。本文没有训练模型,也没有新的精度或速度测量,因此不填写虚构的复现实验表格。

这个两元素例子只验证加权平均。它没有覆盖批处理、序列掩码、多头拼接或训练过程。

关联阅读

归一化计算为什么可以先减去最大值,可以继续看Softmax 数学示例。读论文时也可以先做这种可手算的最小验证,再扩大实现范围。

END OF NOTEBack to top ↑

Search the notebook

Search published writing. Use ↑ ↓ to select, Enter to open.