← COMP5541 全部讲次
L07d · 第 9 周

L07d seq2seq 与 attention:翻译时每一步都回头看整句

两个 RNN 首尾相接就能做翻译,但整句要挤进一个固定长度的向量。attention 让解码器每一步都给源句各位置打分、用 softmax 变成权重、加权求和,从全句里取自己要的部分。

一句话版

seq2seq 用一个 RNN 把整句读成一个向量,再用另一个 RNN 从这个向量写出译文。attention 让写译文的那个 RNN 每写一个词,都回头给源句每个位置打分,按分数把各位置的特征加权求和,拿到「这一步该看的内容」。

上一页 L07c 讲了 LSTM 怎么把一条序列读好。这一页讲读完以后怎么生成另一条序列,以及 attention 补的是哪个洞。

先认识这几个词

读之前最好记得 L07a 的五种输入输出结构,特别是「先读完再输出」的 Many to Many。

词 全称 / 读法 一句人话
seq2seq sequence to sequence 输入一串、输出另一串,长度可以不同
编码器 / 解码器 encoder / decoder 一个负责读,一个负责写
Encoder Vector 编码向量 编码器读完整句后留下的那一个向量
attention 注意力 每一步按相关程度给各位置分权重,再加权求和
softmax 读 soft-max 把一组分数变成加起来为 1 的权重
context vector c_i 上下文向量 解码第 i 步时,从源句加权汇总出来的内容

一个类比:口译员和笔记

seq2seq 像一位只能记一句话摘要的口译员。对方讲完一整段,他脑子里只剩一个摘要,然后照着摘要说出译文。段落一长,摘要就装不下细节。

attention 像给口译员配了一份完整的逐字笔记。每说一个译文词,他都扫一遍笔记,在相关的几行上多看几眼,其余的略过。

类比在哪里失效:

  1. 口译员「多看几眼」是有意识的挑选。attention 是给每个位置算一个分数,再按比例加权,所有位置都参与,只是比例不同。
  2. 笔记是原文。attention 看的是编码器在各位置算出的特征 h_j,每个特征已经混进了它前后文的信息。

从零讲起

1. seq2seq:读一句,写另一句

它解决什么问题

翻译、改写这类任务,输入是一串,输出也是一串,两边长度还不一定相等。前面的 RNN 要么每步一个输出(长度相同),要么只出一个结果。seq2seq 解决「读完一串、再写出另一串」。

从哪来(补充)

Sutskever、Vinyals、Le 2014 年 9 月上传 arXiv 的论文《Sequence to Sequence Learning with Neural Networks》,用一个 LSTM 把输入序列编码成固定维数的向量,再用另一个 LSTM 解码出目标序列。Cho 等人同年的工作也被视为这一思路的源头之一。

出处:arXiv 1409.3215,Wikipedia: Seq2seq

直觉

把 L07a 的两种结构拼起来。前半段是 Many to One:读完整句,只留一个向量。后半段是 One to Many:从这一个向量出发,一个词一个词往外写。

中间那个向量是两半唯一的连接,源句的所有信息都要从这里过。

一步一步看

目标:跟着一句英文走过编码器和解码器,看 seq2seq 怎样对付长短不同的输入输出,瓶颈又卡在哪。

  1. 编码器是一个 RNN,依次读入「What are you doing today?」,隐状态 h1 → h2 → h3 往下传。

  2. 读完最后一个词,隐状态就是 Encoder Vector,整句的信息都在里面。

  3. 解码器是另一个 RNN,以 Encoder Vector 为起点,依次写出「Qué vas a hacer hoy?」。

    seq2seq 示意图。左边编码器三个格子 h1、h2、h3 依次读入 What are、you doing、today?,标注 Many to One;中间青绿框是 Encoder Vector,下方写长度固定是瓶颈;右边解码器两个格子 s1、s2 写出 Qué vas a 和 hacer hoy?,标注 One to Many

  4. 输入 5 个词、输出 5 个词也好,输入 5 个、输出 3 个也好,结构都一样,因为两半是分开跑的。

  5. 问题在第 2 步:不管源句多长,Encoder Vector 的长度是固定的。句子越长,越难把细节全塞进去。

怎么判断

一个任务该不该用 seq2seq,看三点:

  • 输入是不是一串;
  • 输出是不是另一串;
  • 输出要不要等整句读完才能开始写(例如翻译,后面的词可能决定前面怎么译)。

三点都满足,就是 L07a 第 5 种结构,可以拆成「Many to One + One to Many」。

意思是:seq2seq 是两个 RNN(或 LSTM)的一种接法,没有引入新的单元。课件在图上用红框写了「Many to One + One to Many」,说的就是这个拆法。

常见误解

以为 seq2seq 的输出长度必须和输入一样

编码器和解码器各跑各的,解码器一直写到输出结束符为止,长度可以不同。翻译正需要这一点。

以为编码器每一步的隐状态都会传给解码器

普通 seq2seq 只把最后那个 Encoder Vector 交给解码器,前面各步的隐状态都丢掉了。attention 要用的正是这些被丢掉的隐状态。

试一下

把一段英文摘要成一句更短的英文,属于哪种结构?能不能用 seq2seq?

输入输出都是一串、长度不同、要读完才写,属于「先读完再输出」的 Many to Many,可以用 seq2seq。

2. 先补一块:softmax(补充)

它解决什么问题

attention 要给每个位置算一个权重,权重要非负、加起来等于 1,才能当成「按比例分配注意力」。打分函数给出的分数可以是任意实数,softmax 负责把分数变成这样的权重。

直觉

先把每个分数变成正数,分数越高变得越大,然后看每个数占总和的几成。

取指数这一步会放大差距:分数高一点,权重就高不少。

一步一步看

目标:拿分数 (2, 1, 0) 走一遍取指数、求和、相除,看 softmax 结果非负、加起来为 1,低分也不会变成 0。

拿分数 (2, 1, 0) 走一遍。

  1. 对每个分数取 e 的幂:e^2 ≈ 7.389,e^1 ≈ 2.718,e^0 = 1。

  2. 加起来:7.389 + 2.718 + 1 = 11.107。

  3. 各自除以总和:7.389 / 11.107 ≈ 0.665,2.718 / 11.107 ≈ 0.245,1 / 11.107 ≈ 0.090。

    softmax 三段柱状图。左边分数 e 是 2、1、0;箭头到中间,取指数后是 7.389、2.718、1,上方写 7.389 + 2.718 + 1 = 11.107;箭头到右边权重 α,0.665 的柱子描成青绿,另两根是 0.245 和 0.090,标注和为 1

  4. 检查:0.665 + 0.245 + 0.090 = 1.000,全都非负。

  5. 分数 0 的位置权重是 0.090,不为 0。softmax 只会让低分位置很小,不会让它完全消失。

怎么算

α_j = exp(e_j) / Σ_k exp(e_k)

意思是:第 j 个位置的权重,等于它的分数取指数,除以所有位置分数取指数后的总和。分子都是正数,所以权重非负;分母是所有分子的和,所以权重加起来正好是 1。

常见误解

以为 softmax 就是「每个分数除以分数之和」

直接除会遇到负分数和零分数,结果可能是负的或除以 0。softmax 先取指数,把所有分数变成正数,再做比例。

以为分数是 0 的位置权重也是 0

e^0 = 1,权重是 1 除以总和,一定大于 0。

试一下

分数 e = (1, 1, 0),softmax 权重是多少?

exp 是 2.718、2.718、1,和 6.437。权重 ≈ 2.718/6.437 ≈ 0.422、0.422,1/6.437 ≈ 0.155。

3. Attention + RNN:每一步重新算一个 context vector

它解决什么问题

seq2seq 把整句压进一个固定长度的 Encoder Vector,句子越长越难装下。attention 让解码器每写一个词,都能直接回看编码器所有位置的特征,按需要取用。

从哪来(补充)

Bahdanau、Cho、Bengio 的论文《Neural Machine Translation by Jointly Learning to Align and Translate》2014 年 9 月上传 arXiv,在 ICLR 2015 作口头报告。摘要的判断是:把整句压成固定长度的向量是编码器-解码器的瓶颈。于是他们让模型在生成每个目标词时,自动去源句里找相关的部分。课件标的「Bahdanau et al 2015」就是这篇。

出处:arXiv 1409.0473

直觉

解码器写第 i 个词之前,拿自己当前的状态 s_{i−1} 去问编码器每个位置:「你和我现在要写的词有多相关?」每个位置答一个分数。

分数经过 softmax 变成权重,再按权重把各位置的特征加起来,得到这一步专用的 context vector c_i。下一步状态变了,问出来的分数也变,c_i 跟着变。

一步一步看

目标:用三个位置的特征走一遍打分、softmax、加权求和,看每写一个词都要重新算一个 context vector。

设源句有 3 个位置,特征是二维:h_1 = (1, 0),h_2 = (0, 1),h_3 = (1, 1)。假设打分函数给出的分数是 2、1、0。

  1. 打分:拿 s_{i−1} 和每个 h_j 算分数 e_ij,得到 2、1、0。

    attention 第 1 步:上方青绿框是解码状态 s_{i−1},三条连线分别通向下方 h_1 = (1, 0)、h_2 = (0, 1)、h_3 = (1, 1),连线中间的标签依次是 e = 2、e = 1、e = 0

  2. 归一化:对三个分数做 softmax,权重 ≈ 0.665、0.245、0.090。

    attention 第 2 步:同样的连线,标签换成 α ≈ 0.665、α ≈ 0.245、α ≈ 0.090,三个权重加起来为 1

  3. 加权求和:0.665×(1, 0) + 0.245×(0, 1) + 0.090×(1, 1) ≈ (0.755, 0.335),这就是 c_i。

    attention 第 3 步:下方三个特征框描成青绿,右上方青绿框写 c_i ≈ (0.755, 0.335),标注 context vector;底部写出加权求和的算式

  4. 更新:解码状态 s_i 由 s_{i−1}、上一个输出词 y_{i−1} 和 c_i 一起算出,再写出第 i 个词。

  5. 写第 i + 1 个词时,用新的 s_i 重新打分,权重和 c_{i+1} 都会不同。

怎么算

课件的三条式子,按计算顺序:

e_ij = a(s_{i−1}, h_j)

α_ij = exp(e_ij) / Σ_k exp(e_ik)

c_i = Σ_j α_ij h_j

s_i = f(s_{i−1}, y_{i−1}, c_i)

意思是:第一条打分,a 是一个可以训练的小网络,输入解码器上一步状态和编码器第 j 个特征,输出一个数。第二条是 softmax,把第 i 步对所有位置的分数变成权重。第三条把所有位置的特征按权重加起来,得到 context vector。第四条用它更新解码状态。

课件图里的编码器是双向 RNN:每个位置有一个从左往右读的隐状态和一个从右往左读的隐状态,合起来当 h_j,所以 h_j 同时带着前后文。

常见误解

以为 attention 只挑分数最高的那一个位置

所有位置都参与加权求和,只是权重不同。上面例子里分数为 0 的 h_3 也贡献了 0.090 的份额。

以为 context vector 在整个解码过程中只算一次

c_i 带下标 i,每个解码步都用新的 s_{i−1} 重新打分、重新算。这正是它和 seq2seq 固定的 Encoder Vector 的区别。

试一下

沿用上面三个特征,如果权重是 (0.5, 0.5, 0),c_i 是多少?

0.5×(1, 0) + 0.5×(0, 1) + 0×(1, 1) = (0.5, 0.5)。

4. 顺序处理为什么慢

它解决什么问题

attention 解决了「固定向量装不下」,但 RNN 本身的另一个缺点还在:训练和推理都慢。这一节说清楚慢在哪里,下一页的 Transformer 就是冲着它去的。

直觉

一排人传水桶,第 2 个人必须等第 1 个人递过来才能动手。人再多,也只能一个一个传。

RNN 的编码器算第 j 个位置时要用第 j−1 个位置的隐状态,解码器写第 i 个词时要用第 i−1 步的状态。两头都是传水桶。

一步一步看

目标:跟着中译英例子数编码器和解码器的格子,看每格都要等上一格算完,加了 attention 也照样排队。

拿课件的中译英例子:编码器读「知识就是力量」,解码器写「Knowledge is power 」。

  1. 编码器先算 e0(读「知」),算完才能算 e1(读「识」)。

  2. 依此类推,e0 到 e6 七格必须排着队算完。

  3. 解码器从 d0 开始写「Knowledge」,写完才能写 d1 的「is」。

  4. d0 到 d3 四格也要排队。

    上排七个格子 e0 到 e6 依次读入知、识、就、是、力、量、end,下排四个格子 d0 到 d3 依次写出 Knowledge、is、power、end,所有格子之间都用青绿箭头首尾相连,从上排末尾折到下排开头,排成一条长队

  5. 加了 attention 以后,解码器每步多了一次加权求和,排队的结构一点没变。

怎么判断

判断一个模型能不能并行算,问一句:算第 t 步要不要先拿到第 t−1 步的结果?

意思是:要的话,第 t 步只能等,算力再多也排队;不要的话,所有位置可以同时算。RNN、LSTM、RNN 加 attention 都属于前者。课件在这个例子旁边用红字写了「顺序处理很耗时」。

常见误解

以为加了 attention 的 RNN 就不用顺序算了

attention 只改了「解码器看什么」,编码器和解码器仍然一格等一格。去掉顺序依赖要等到下一页只用 attention 的 Transformer。

试一下

源句 10 个词、译文 8 个词,RNN 编码器加解码器至少要排几格队?

编码 10 格,解码 8 格,一共 18 格,每格都要等前一格。

把它们串起来

seq2seq 把两个 RNN 首尾相接:编码器读完整句,留下一个 Encoder Vector;解码器从这个向量开始写出另一句。输入输出长度可以不同,适合翻译。

它的瓶颈是那个固定长度的向量。attention 让解码器每一步都给编码器各位置打分,用 softmax 把分数变成权重,再把各位置特征加权求和,得到这一步专用的 context vector。源句再长,解码器也能每步直接取用需要的部分。

还剩一个问题:编码和解码都要一格等一格,训练和推理都慢。下一页的 Transformer 去掉循环,只留 attention。

课件里的坑

  • [年份] p.21 标题写「Bahdanau et al 2015」,指的是 ICLR 2015 的会议版;论文 2014 年就已上传 arXiv,两个年份说的是同一篇。
  • [编号] p.6 议程第 5 部分写 Transformer,p.20 起的分节页和页眉写「05 Attention Layer」。内容是同一块,按「05 = attention 到 Transformer」对应。
  • [读图提醒] p.21 右图编码器是双向 RNN,每个位置有前向和后向两个隐状态,合起来才是 h_j。
  • [留白] p.27 第 4 条「vanilla attention 怎么工作」课件只写一句「对所有时间步的特征做加权求和」,下面例 1 展开。

课后 10 分钟:考点复习

这 10 分钟怎么用:先说出 seq2seq 是哪两种结构拼成的、瓶颈在哪;再默写 attention 的三条式子;然后手算一次 softmax 和 context vector;最后说一句为什么 RNN 加 attention 还是慢。

必背

  1. seq2seq = Many to One + One to Many:编码器把整句压成 Encoder Vector,解码器展开成另一句。
  2. seq2seq 的瓶颈:整句信息要挤进一个固定长度的 Encoder Vector,句子越长越难装下。
  3. Attention + RNN:e_ij = a(s_{i−1}, h_j),α_ij = softmax 后的权重,c_i = Σ α_ij h_j(context vector)。
  4. vanilla attention 的工作方式:对所有时间步的特征做加权求和。
  5. softmax 把一组分数变成非负、加起来等于 1 的权重,分数越高权重越大。
  6. RNN 加 attention 仍要顺序处理,编码器一格等一格、解码器一个词一个词地出,很耗时。

课件例题

本讲课件没有带数字的例题。p.27 留了一道思考题,问 vanilla attention 怎么工作。

例 1(课件 p.27):vanilla attention 怎么工作

题面:p.27 第 4 条问 vanilla attention mechanism 怎么工作,课件答案只有一句「weighted summation of all features over time」。把这句话展开成三步。

提示

对照 p.21 的三条式子:先算什么,再算什么,最后得到什么。

解答
  1. 打分:用上一步解码状态 s_{i−1} 和每个位置的特征 h_j 算 e_ij。
  2. 归一化:对所有位置做 softmax,得到权重 α_ij,非负、和为 1。
  3. 加权求和:c_i = Σ α_ij h_j,送进解码器更新 s_i。

完整例题

自编情境。编码器三个位置的特征 h_1 = (1, 0)、h_2 = (0, 1)、h_3 = (1, 1),解码第 i 步打分函数给出 e = (2, 1, 0)。(a) 求 softmax 权重。(b) 求 context vector c_i。(c) 解码第 i + 1 步时,c_{i+1} 一定和 c_i 相同吗?

  1. 取指数:e^2 ≈ 7.389,e^1 ≈ 2.718,e^0 = 1,和 11.107。
  2. 权重:7.389/11.107 ≈ 0.665,2.718/11.107 ≈ 0.245,1/11.107 ≈ 0.090。
  3. 加权求和:0.665×(1, 0) + 0.245×(0, 1) + 0.090×(1, 1) = (0.665 + 0.090, 0.245 + 0.090) ≈ (0.755, 0.335)。
  4. 第 i + 1 步用新的解码状态 s_i 打分,分数一般会变,权重和 c_{i+1} 也跟着变。

答案:权重 ≈ (0.665, 0.245, 0.090);c_i ≈ (0.755, 0.335);不一定相同。

要点:softmax 先取指数再求比例;加权求和时向量按维分别相加。

答题格式:先写 exp 和总和,再写三个权重,最后写加权求和的算式和结果,向量两维分开算。

变式题(先自己做)

(1) 改编自课件 p.21:分数 e = (0, 0, 0, 0),四个位置的权重各是多少? (2) 自编情境:沿用完整例题的三个特征,权重是 (0.5, 0, 0.5),c_i 是多少? (3) 自编情境:一段 50 个词的源句,用普通 seq2seq 和加 attention 的 seq2seq,解码器每一步能直接看到的东西有什么不同?

提示

(1) 四个 e^0 都等于 1。(2) 两维分开加。(3) 一个只能看 Encoder Vector,另一个能看什么?

判分点与答案(非官方评分标准)

判分点:① softmax 先取指数再除总和;② 加权求和按维计算;③ 说清固定向量和逐步 context vector 的区别。

  1. (1) 每个 e^0 = 1,总和 4,权重都是 0.25,分数相同时平均分配。
  2. (2) 0.5×(1, 0) + 0×(0, 1) + 0.5×(1, 1) = (1, 0.5)。
  3. (3) 普通 seq2seq 每一步只能看同一个 Encoder Vector;加 attention 后每一步都能看到 50 个位置的全部特征,按权重加权求和得到各自的 c_i。

闪卡自测

1. seq2seq 由哪两种结构拼成?

Many to One(编码器)加 One to Many(解码器)(p.16)。

2. seq2seq 的瓶颈在哪?

整句信息要挤进一个固定长度的 Encoder Vector(p.16)。

3. 写出 attention 的打分、权重、context vector 三条式子。

e_ij = a(s_{i−1}, h_j);α_ij = exp(e_ij) / Σ_k exp(e_ik);c_i = Σ_j α_ij h_j(p.21)。

4. vanilla attention 怎么工作,一句话?

对所有时间步的特征做加权求和(p.27)。

5. softmax 的输出有什么性质?

全部非负,加起来等于 1,分数越高权重越大。

6. 打分函数 a 是什么?

一个可学习的小网络,输入 s_{i−1} 和 h_j,输出一个分数(p.21)。

7. 加了 attention 的 RNN 为什么还是慢?

编码器和解码器仍要一格等一格地顺序算(p.22)。

下一讲

下一页 L07e 讲 Transformer 的自注意力:把循环整个去掉,用点积打分、除以 √d_k、softmax、加权求和,所有位置一起算。本页的「打分 → softmax → 加权求和」三步,下一页原样还在,只是换了打分方式。

下一讲 →
L07e L07e Transformer 自注意力:去掉循环,只留 attention

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。