← COMP5541 全部讲次
L07e · 第 9 周

L07e Transformer 自注意力:去掉循环,只留 attention

Transformer 把输入变成 Query、Key、Value,用点积打分、除以 √d_k、softmax、再加权求和,所有位置一起算。这一页逐步手算一次,再讲缩放、补齐与 mask、多头注意力。

一句话版

Transformer 让序列里每个位置都去问所有位置「你和我有多相关」,用点积打分,除以 √d_k,过 softmax 变成权重,再把各位置的内容加权求和。没有循环,所有位置可以同时算。

上一页 L07d 讲到 RNN 加 attention 仍要一格等一格。这一页讲只用 attention 的做法。

先认识这几个词

读之前最好记得上一页的「打分 → softmax → 加权求和」三步,以及向量点积:对应位置相乘再相加。

词 全称 / 读法 一句人话
Transformer 读 trans-former 去掉循环、只用 attention 的序列模型
自注意力 self-attention Q、K、V 都来自同一段输入的 attention
Q / K / V Query / Key / Value 提问用的向量 / 被比对的标签 / 真正取走的内容
d_k key 的维数 每个 key 向量有几个数
padding / mask 补齐 / 屏蔽 短句补 0 凑齐长度,再让补出的位置不起作用
Multi-Head 多头注意力 并行做 h 份 attention,再拼起来

一个类比:图书馆检索

你带着一个问题(Query)走进图书馆。每本书脊上贴着关键词标签(Key),书里是内容(Value)。

你拿问题和每本书的标签比一比,越吻合的书分越高。然后按分数的比例,从每本书里各摘一点内容,拼成答案。

在自注意力里,每个词同时是提问的人,也是一本书。每个词都拿自己的问题把全句的书检索一遍,所有词可以同时去检索,不用排队。

类比在哪里失效:

  1. 图书馆里问题、标签、内容是三样不同的东西。自注意力里 Q、K、V 都是由同一个词的向量乘三个不同的矩阵得到,三个矩阵靠训练学出来。
  2. 真人检索会只挑最相关的几本。attention 对所有位置都按比例摘取,分数低的位置权重小,但不是 0。

从零讲起

1. Q、K、V 与点积打分

它解决什么问题

RNN 加 attention 的打分函数 a 要用解码器上一步的状态,所以还得一步步算。Transformer 要一种不依赖上一步、所有位置能同时算的打分方式。答案是让每个位置自带 Query 和 Key,直接做点积。

从哪来(补充)

Vaswani 等 8 位作者的论文《Attention Is All You Need》2017 年 6 月上传 arXiv。论文提出只用 attention、不用循环和卷积的 Transformer。论文里这种 attention 叫 Scaled Dot-Product Attention。

出处:arXiv 1706.03762

直觉

两个向量方向越一致,点积越大。q 和某个 k 方向接近,说明这个位置和提问者相关,分数就高。

分数决定从各位置的 Value 里各取多少,权重的算法和上一页一样,用 softmax。

一步一步看

目标:用一个 query 和三个 key 走完点积、缩放、softmax、加权求和,看各位置为什么不用互相等。

设 d_k = 4。一个位置的 query 是 q = (1, 1, 1, 1)。三个位置的 key 是 k_1 = (1, 1, 1, 1)、k_2 = (1, 1, 0, 0)、k_3 = (0, 0, 0, 0)。

  1. 点积打分:q·k_1 = 1+1+1+1 = 4,q·k_2 = 1+1 = 2,q·k_3 = 0。

    自注意力第 1 步:左边 q = (1, 1, 1, 1),中间三个 key 框 k_1 = (1, 1, 1, 1)、k_2 = (1, 1, 0, 0)、k_3 = (0, 0, 0, 0),各用青绿箭头指向右边的点积分数 4、2、0,底部写出三条点积算式

  2. 缩放:d_k = 4,√d_k = 2,三个分数除以 2 得到 2、1、0。

    自注意力第 2 步:同样的 q 和三个 key,右边青绿框里的分数从 4、2、0 换成除以 2 之后的 2、1、0,标题写除以 √d_k = √4 = 2,底部列出 4/2、2/2、0/2 三个算式

  3. softmax:(2, 1, 0) 和上一页一样,权重约 0.665、0.245、0.090。

    自注意力第 3 步:同样的 q 和三个 key,右边青绿框标题为权重,依次是 0.665、0.245、0.090,底部说明与上一步的 (2, 1, 0) 结果一样

  4. 加权求和:这个位置的输出 = 0.665×v_1 + 0.245×v_2 + 0.090×v_3,v_j 是各位置的 Value。

  5. 其余每个位置都拿自己的 q 做同样的事,彼此不需要等待,可以一次全部算完。

怎么算

课件给的公式:

Attention(Q, K, V) = softmax(Q Kᵀ / √d_k) V

按计算顺序读:

  1. Q Kᵀ:每个 query 和每个 key 做点积,得到一张分数表,第 i 行第 j 列是位置 i 对位置 j 的关注分数;
  2. 除以 √d_k:d_k 是 key 向量的维数;
  3. softmax:按行归一化,每行权重加起来为 1;
  4. 乘 V:每个位置的输出是所有 value 的加权和。

意思是:把上一页的「打分 → softmax → 加权求和」写成矩阵形式,一次算完所有位置。和上一页比有两处不同:分数直接用点积,不再用一个小网络 a;Q、K、V 都来自同一段输入,所以叫自注意力。

课件示意图里,Input 分别变成 Query、Key、Value 三组向量。Query 和 Key 算出 Attention weights,权重再和 Value 结合得到 Output。

常见误解

以为 Q、K、V 是三段不同的输入

在自注意力里,三者都来自同一段输入,各乘一个不同的可学习矩阵得到。名字不同是因为它们在公式里扮演的角色不同。

以为去掉循环以后模型就不知道词的先后了,所以没法用

点积打分本身确实不看位置先后。原论文在输入上另加了位置信息来补这一点,课件没有展开,这里只需记住「并行算」这个好处。

试一下

q = (1, 0, 1),三个 key 分别是 (1, 0, 1)、(1, 0, 0)、(0, 1, 0),点积分数是多少?

1+0+1 = 2,1+0+0 = 1,0+0+0 = 0,分数 (2, 1, 0)。

2. 为什么要除以 √d_k

它解决什么问题

d_k 越大,点积要加的项越多,分数的数值就越大。分数之间差距一大,softmax 就会让一个位置几乎拿走全部权重,其余位置的梯度几乎为 0,训练变难。除以 √d_k 把分数拉回温和的范围。

从哪来(补充)

原论文 3.2.1 节写:d_k 大的时候,点积数值变大,会把 softmax 推进梯度极小的区域,所以把点积乘 1/√d_k。脚注给了理由:如果 q 和 k 的各分量独立、均值 0、方差 1,点积的均值是 0,方差是 d_k。方差是 d_k,标准差就是 √d_k,除以它正好把分数的尺度拉回 1。

出处:arXiv 1706.03762(HTML 版)

直觉

softmax 先取指数。分数差 1 时,权重差 e 倍;分数差 4 时,权重差 e 的 4 次方倍,大约 55 倍。差距越大,权重越像「赢家通吃」。

把所有分数除以同一个数,排序不变,但差距缩小,权重分布就平缓一些。

一步一步看

目标:拿同一组分数比较缩放前后的 softmax,看不缩放时第一个位置几乎通吃,缩放只缩小差距、不改排序。

还用上面那组分数 (4, 2, 0),比较缩放前后的 softmax。

  1. 不缩放:e^4 ≈ 54.6,e^2 ≈ 7.389,e^0 = 1,和约 63.0。

  2. 权重约 54.6/63.0 ≈ 0.867,7.389/63.0 ≈ 0.117,1/63.0 ≈ 0.016。第一个位置几乎拿走全部。

  3. 除以 2 以后是 (2, 1, 0),权重约 0.665、0.245、0.090,第二、三个位置还有份额。

    左右两组柱状图比较缩放前后的 softmax 权重。左边不缩放 softmax(4, 2, 0),三根柱子是 0.867、0.117、0.016,第三根几乎贴地;右边青绿框圈出除以 2 后的 softmax(2, 1, 0),三根柱子是 0.665、0.245、0.090

  4. 排序在两种情况下都一样,位置 1 最高、位置 3 最低。缩放只改了差距的大小。

  5. d_k 越大,不缩放时分数越大,「赢家通吃」越严重;缩放的作用也越明显。

怎么算

缩放后的分数 = q·k / √d_k

意思是:每个点积都除以 key 维数的平方根。d_k = 4 时除以 2,d_k = 16 时除以 4,d_k = 64 时除以 8。维数越高,除的数越大,正好抵消点积随维数变大的那部分。

为什么是平方根而不是 d_k 本身:点积的方差随 d_k 线性增长,数值的典型大小(标准差)随 √d_k 增长。除以 √d_k 刚好让标准差回到 1。

常见误解

以为除以 √d_k 会改变哪个位置最重要

所有分数除以同一个正数,大小顺序不变,只是差距变小、权重更平缓。

以为缩放是为了让计算更快

缩放是为了训练:不缩放时 softmax 太尖锐,大部分位置的梯度几乎为 0,参数学不动。

试一下

d_k = 9,一组点积分数是 (6, 3, 0),缩放后是多少?softmax 权重约多少?

√9 = 3,缩放后 (2, 1, 0),权重约 0.665、0.245、0.090。

3. padding 与 mask

它解决什么问题

一批数据里的句子长短不一,矩阵运算要求形状整齐。做法是把短句后面补 0,凑到一样长。补出来的位置没有真实内容,不能让它影响损失,也不该让真实的词去关注它们。

直觉

一张表格每行要一样多的格子。短的那行在后面填空白格,然后在空白格上盖个章:「不算数」。

一步一步看

目标:把一长一短两句话补齐到同一长度,看补出来的位置怎样在损失里不计、在 attention 里拿到权重 0。

一批两句话,分别长 4 和 7。

  1. 把长度对齐到 7。

  2. 短句后面补 3 个 0。

    补齐与屏蔽示意。句子 1 有 w1 到 w4 四个词,后面补了三个 0,三个补齐格描成青绿,旁边写补出来的 3 个 0;句子 2 有 w1 到 w7 七个词。下方两行说明:算损失时补齐位置不计入;attention 里 softmax 前把它们的分数设成极小的负数,权重变成 0

  3. 算损失时:补齐的 3 个位置不计入。

  4. 在 attention 里:softmax 之前,把补齐位置的分数设成一个极小的负数。

  5. 极小负数取指数后约等于 0,这些位置分到的权重就是 0,真实的词不会去「关注」空白格。

怎么判断

一个位置要不要 mask,问一句:它是不是补出来的,或者是不是此刻不该看到的?

意思是:补齐位置一律屏蔽;生成译文时,当前位置也不能看到它后面还没生成的位置,同样用 mask 挡住。课件 Scaled Dot-Product Attention 的流程图里,Mask 一格标了 opt.(可选),说的就是这两种情况按需加。

常见误解

以为 mask 只在算损失时用

课件原句只提到计算损失时 mask。在 Transformer 里,补齐位置在 attention 内部也要屏蔽,否则真实的词会把一部分权重分给空白格。

以为把补齐位置的分数设成 0 就能屏蔽

e^0 = 1,分数 0 的位置还会分到权重。要设成极小的负数,取指数后才接近 0。

试一下

一批三句话长 2、5、3,对齐到最长,各补几个 0?

最长是 5。长 2 的补 3 个,长 5 的补 0 个,长 3 的补 2 个。

4. Multi-Head Attention

它解决什么问题

一次 attention 只能给出一套权重,也就只能体现一种「谁和谁相关」。可是一句话里的关系不止一种,有语法上的,有指代上的。多头注意力并行做几套 attention,各学各的关系,再合在一起。

直觉

几位读者各读一遍同一句话,有人盯主语和谓语,有人盯代词指谁。最后把各人的笔记并排贴在一起,再整理成一份。

一步一步看

目标:顺着 Multi-Head Attention 的流程图从 Linear 走到拼接,看 h 个头怎样各算一份再合成输出。

  1. V、K、Q 各自经过一个 Linear(线性变换)。

  2. 送进 h 个并行的 Scaled Dot-Product Attention,每个头有自己的一组 Linear。

  3. 每个头按本页第 1、2 节的方法各算出一份结果。

  4. 把 h 份结果 Concat(拼接)起来。

  5. 再过一个 Linear,得到最终输出。

    Multi-Head Attention 流程图:底部 V、K、Q 三个框各经过一个 Linear,向上送进 h 个叠放的青绿 Scaled Dot-Product Attention 框,上方写共 h 个、各有自己的一组 Linear;右边依次接 Concat、Linear,最后输出

怎么算

MultiHead(Q, K, V) = Linear(Concat(head_1, …, head_h))

head_i = Attention(Q_i, K_i, V_i),Q_i、K_i、V_i 是过第 i 组 Linear 后的结果

意思是:每个头先把 Q、K、V 各变换一次,再做一遍缩放点积 attention;h 个头的结果首尾拼接,最后用一个 Linear 混合成输出。每个头的线性变换不同,看到的「相关」也不同。

课件没有给 h 的取值。原论文用了 h = 8 个头,每个头的 d_k = d_v = 64,只作了解,不是考点。

常见误解

以为多个头用的是同一组 Linear,只是重复算 h 遍

每个头有自己的线性变换。用同一组的话,h 个头算出来完全一样,多头就没有意义了。

试一下

h = 8,每个头输出 64 维,Concat 之后是多少维?

8×64 = 512 维,之后再过一个 Linear。

把它们串起来

Transformer 去掉了循环。每个位置的输入各乘三个矩阵,得到 Query、Key、Value。拿 Query 和所有 Key 做点积打分,除以 √d_k,过 softmax 变成权重,再把所有 Value 加权求和。整套写成 softmax(Q Kᵀ / √d_k) V,所有位置一次算完。

除以 √d_k 是因为维数高时点积数值大,softmax 会太尖锐、梯度太小。长短不一的句子补 0 对齐,补出的位置在损失里和 attention 里都要屏蔽。多头注意力把这套计算并行做 h 份,拼起来再变换一次。

回看整讲:RNN 用隐状态一步步记,LSTM 用记忆线和门记得更久。seq2seq 把读和写分开,attention 让每一步都能回看全句,Transformer 再把等待上一步的依赖整个拿掉。

课件里的坑

  • [适用条件] p.23 红字只说补齐位置在计算损失时 mask 掉。Transformer 里补齐位置在 attention 内部也要屏蔽,对应 p.24 左图的 Mask (opt.)。
  • [留白] p.24 没有给 h 和各维数的取值,原论文的设定不在课件里,不作为考点。
  • [时效] p.25 是论文页截图,红框里的引用数 294018 是截图当时的数字,会继续增长。摘要里的数字(约 165 million 参数,英译德 27.5 BLEU,英译法 41.1 BLEU、比此前单模型最好成绩高 0.7)照原文。
  • [留白] p.27 第 5 条「各自的优缺点」课件写「??」,下面例 1 按 p.18、p.21–23 补齐。

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写 Attention(Q, K, V) 的公式,按四步读一遍;再按完整例题手算一次点积、缩放、softmax;然后说出除以 √d_k 的理由和 mask 的两个用处;最后把 RNN、LSTM、attention、Transformer 的优缺点各说一句。

必背

  1. Attention(Q, K, V) = softmax(Q Kᵀ / √d_k) V;d_k 是 key 向量的维数。
  2. Q、K、V 都来自同一段输入(自注意力),分数直接用点积算,所有位置可以同时算。
  3. 除以 √d_k:d_k 越大点积越大,softmax 会变得很尖锐、梯度很小;缩放把分数拉回温和范围。
  4. 变长输入用 0 补齐(padding),补齐位置在计算损失时 mask 掉。
  5. Multi-Head Attention:Q、K、V 各过 Linear,h 个头并行做 scaled dot-product attention,Concat 后再过 Linear。
  6. Transformer 出自 Vaswani 等 2017 年的「Attention is all you need」。

课件例题

本讲课件没有带数字的例题。p.27 留了一道思考题,要对照几种模型的优缺点。

例 1(课件 p.27):几种模型的优缺点

题面:p.27 第 5 条问 vanilla RNN、LSTM、attention 的缺点和优点,课件写「??」。

提示

RNN 和 LSTM 的部分看 p.18,attention 的部分看 p.21–23 解决了什么、还剩什么。

解答
  1. vanilla RNN:能处理变长序列、学序列依赖;梯度消失和爆炸,长依赖难,顺序计算慢。
  2. LSTM:用门和 cell state 缓解长依赖;参数是同维数 RNN 的 4 倍,仍要逐步计算。
  3. RNN 加 attention:每一步都能看到全部输入位置,缓解固定向量的瓶颈;仍是顺序计算。
  4. 只用 attention(Transformer):去掉循环,所有位置可以同时算(p.22–23)。

完整例题

自编情境。d_k = 4,query q = (1, 1, 1, 1),三个 key 是 (1, 1, 1, 1)、(1, 1, 0, 0)、(0, 0, 0, 0)。(a) 求点积分数。(b) 不缩放和缩放后的 softmax 权重各是多少?(c) 一批两句话长 4 和 7,怎么处理?

  1. 点积:4、2、0。
  2. 不缩放:softmax(4, 2, 0),e^4 ≈ 54.6,e^2 ≈ 7.389,e^0 = 1,和约 63.0,权重 ≈ (0.867, 0.117, 0.016)。
  3. 缩放:√d_k = √4 = 2,分数变成 (2, 1, 0),权重 ≈ (0.665, 0.245, 0.090)。
  4. 短句补 3 个 0 到长度 7;补齐位置在损失里不计入,在 attention 里 softmax 前设成极小负数。

答案:分数 (4, 2, 0);不缩放 ≈ (0.867, 0.117, 0.016),缩放后 ≈ (0.665, 0.245, 0.090);补 3 个 0 并 mask。

要点:缩放不改排序,只让权重更平缓;mask 要用极小负数,不用 0。

答题格式:先写点积,再写 √d_k 和缩放后的分数,最后写 softmax 的指数、总和和权重。

变式题(先自己做)

(1) 改编自课件 p.23:d_k = 16,一组点积分数是 (8, 4, 0),缩放后是多少? (2) 自编情境:一批两句话长 2 和 5,短句补几个 0?补齐位置的分数在 softmax 前应设成什么? (3) 自编情境:为什么 Transformer 可以并行算所有位置,RNN 加 attention 不行?

提示

(1) √16 是多少。(2) 对齐到最长。(3) 打分时要不要用上一步的结果?

判分点与答案(非官方评分标准)

判分点:① √d_k 算对;② mask 写「极小负数」而非 0;③ 并行原因落到「不依赖上一步」。

  1. (1) √16 = 4,缩放后 (2, 1, 0)。
  2. (2) 补 3 个 0;分数设成极小的负数,取指数后约为 0,权重为 0。
  3. (3) Transformer 的 Q、K、V 都由输入直接算出,每个位置的打分不依赖上一步;RNN 加 attention 的打分要用解码器上一步的状态,编码器也要一格等一格,所以只能顺序算。

闪卡自测

1. 写出 Transformer 的注意力公式。

Attention(Q, K, V) = softmax(Q Kᵀ / √d_k) V(p.23)。

2. d_k 是什么?

key 向量的维数(p.23)。

3. 为什么要除以 √d_k?

d_k 越大点积越大,softmax 太尖锐、梯度很小;缩放把分数拉回温和范围(p.23)。

4. 为什么叫自注意力?

Q、K、V 都来自同一段输入(p.23)。

5. 变长输入怎么处理?

短句补 0 到同一长度,补齐位置在计算损失时 mask 掉(p.23);在 attention 内部也要屏蔽。

6. Multi-Head Attention 的流程?

V、K、Q 各过 Linear,h 个头并行做 scaled dot-product attention,Concat 后再过 Linear(p.24)。

7. Transformer 出自哪篇论文?

Vaswani 等 2017 年的「Attention is all you need」(p.25)。

8. Transformer 比 RNN 快在哪里?

去掉了循环,每个位置不用等上一步,所有位置可以同时算(p.22–23)。

下一讲

CNN 处理网格,RNN 和 Transformer 处理序列,可社交网络、分子这类数据每个节点的邻居个数都不一样。下一讲 L08a 进入图神经网络,先讲图数据怎么写成矩阵。

下一讲 →
T03a T03a Tutorial 3 上半:用 PyTorch 从零写注意力和多头注意力

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。