← COMP5541 全部讲次
L07c · 第 9 周

L07c LSTM:一条记忆线,加三个门

先补 sigmoid 和逐元素相乘,再拆开 LSTM 单元:cell state 只做乘和加,遗忘门、输入门、输出门各管一件事;最后数一数参数为什么是 RNN 的 4 倍。

一句话版

LSTM 在 RNN 的隐状态旁边多拉了一条记忆线。这条线每一步只做两件事:按比例擦掉一点旧的,按比例写进一点新的。擦多少、写多少、读出多少,由三个 0 到 1 之间的「门」决定。

上一页 L07b 讲到 vanilla RNN 的记忆每步都被冲淡。这一页讲 LSTM 怎么把长期信息保得更久。

先认识这几个词

读之前最好记得上一页 RNN 的式子 h_t = tanh(W_hh h_{t−1} + W_hx x_t)。

词 全称 / 读法 一句人话
LSTM Long Short-Term Memory,长短期记忆网络 在 RNN 上加了门和一条长期记忆线的改进版
cell state c_t 细胞状态 长期记忆,横穿整个单元的那条线
hidden state h_t 隐状态 每一步对外给出的结果,也传给下一步
门 gate 一组 0 到 1 之间的数,决定某样信息放行多少
sigmoid σ 读 sig-moid 把任何数压到 0 到 1 之间的函数
逐元素相乘 element-wise product 两个等长向量对应位置相乘,结果还是等长向量

一个类比:便签之外,再发一本笔记本

上一页的速记员只有一张便签,每听一个词就整张改写。LSTM 给他多发了一本笔记本,再配三个旋钮。

第一个旋钮决定旧笔记留多少,第二个决定新内容写进去多少,第三个决定这一步对外念出多少。

笔记本上的字只按比例擦、按比例添,不用每步整页重抄。旋钮拧到「全留」,旧内容就能原样保存很多步。

类比在哪里失效:

  1. 真实的门不是一个总旋钮。记忆是一个向量,每个门也是一个同样长的向量,对每一维分别开合。
  2. 旋钮的位置不是人拧的,每一步都由当前输入和上一步的隐状态算出来,规则靠训练学到。

从零讲起

1. 先补一块:sigmoid 与逐元素相乘(补充)

它解决什么问题

LSTM 的门要回答「放行多少」。答案应该在「一点都不放」和「全部放行」之间,也就是 0 到 1。sigmoid 正好把任何数压到这个范围。

门算出来以后要作用到记忆上,而记忆的每一维要分别控制,这就用到逐元素相乘。

直觉

sigmoid 像一个调光开关。拧到一头是全暗(0),拧到另一头是全亮(1),中间连续可调。

逐元素相乘像给一排灯各配一个调光开关。第 1 盏开到一半,第 2 盏全开,第 3 盏关掉,互不影响。

一步一步看

目标:先比 sigmoid 和 tanh 的值域,再用一个门乘一组记忆,看门怎样对每一维分别留一半、全留或清空。

  1. 把 sigmoid 和 tanh 画在一起比较:形状都是 S 形,sigmoid 被夹在 0 和 1 之间,tanh 被夹在 −1 和 1 之间。

    左右两张小图。左边青绿曲线是 sigmoid,从 0 平缓升到 1,标注为门的开合程度;右边黑色曲线是 tanh,从 −1 升到 1、中段更陡,标注为要写进去的内容

  2. 输入 0 时,sigmoid(0) = 0.5,正好一半放行。

  3. 输入很大时(比如 5),sigmoid 接近 1,几乎全放行;输入很小时(比如 −5),接近 0,几乎全挡住。

  4. 逐元素相乘:门 (0.5, 1, 0) 乘记忆 (4, 2, 6),对应位置相乘,得到 (2, 2, 0)。

    位置 门 记忆 相乘
    1 0.5 4 2
    2 1 2 2
    3 0 6 0
  5. 第 1 维留了一半,第 2 维原样保留,第 3 维被清空。这就是「对每一维分别开合」。

怎么算

σ(z) = 1 / (1 + e^(−z))

意思是:z 越大,e^(−z) 越接近 0,分母接近 1,结果接近 1;z 越小,e^(−z) 越大,结果接近 0;z 为 0 时 e^0 = 1,结果是 1/2。

逐元素相乘写成 a × b(有的书写成 a ⊙ b),意思是两个等长向量的第 k 维和第 k 维相乘,放到结果的第 k 维。它和矩阵乘法不同,结果的长度不变,各维之间不混合。

常见误解

以为 LSTM 式子里的 × 是矩阵乘法

c_t = f_t × c_{t−1} + i_t × g_t 里的 × 都是逐元素相乘。f_t 和 c_{t−1} 长度相同,乘完长度也相同。矩阵乘法只出现在「算门」那一步,即权重矩阵乘 x_t 和 h_{t−1}。

以为门只能取 0 或 1

sigmoid 的输出是连续的,门可以是 0.9、0.2 这样的中间值,表示「留九成」「写两成」。

试一下

门 (1, 0.5) 逐元素乘记忆 (3, −2),结果是多少?

(1×3, 0.5×(−2)) = (3, −1)。

2. cell state 与三个门

它解决什么问题

vanilla RNN 每一步都把整个隐状态乘 W_hh 再过 tanh,旧信息每步都被改写一次。LSTM 要给长期信息一条「不用每步都重写」的通道,同时保留按需忘掉、按需写入的能力。

从哪来(补充)

LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 1997 年发表在期刊 Neural Computation 上。最初的版本没有遗忘门,遗忘门是 Gers、Schmidhuber、Cummins 1999 年加进去的。今天课本里说的 LSTM 一般都带遗忘门。

出处:Wikipedia: Long short-term memory

直觉

把单元图想成一条传送带加三个闸口。传送带从左到右横穿顶部,就是 cell state。

第一个闸口在传送带上按比例拿掉旧货(遗忘门)。第二个闸口往传送带上按比例放新货(输入门管放多少,候选内容 g 是新货本身)。第三个闸口决定从传送带上取多少送出去当这一步的隐状态(输出门)。

一步一步看

目标:用一维数字依次走遗忘、写入、读出三步,看遗忘门接近 1 时旧记忆几乎原样留下。

先看单元图,再用一维的数字走一遍。设旧记忆 c_{t−1} = 1.0,遗忘门 f_t = 0.9,输入门 i_t = 0.2,候选内容 g_t = 0.5,输出门 o_t = 0.8。

  1. 认识单元图:顶部一条记忆线贯穿左右,下方是四个由 x_t 和 h_{t−1} 算出的门控量。

    LSTM 单元示意图。顶部一条青绿横线是 cell state 长期记忆,从 c_{t−1} 流到 c_t,线上先过一个乘号再过一个加号。下方四个框依次是遗忘门 f、输入门 i、候选内容 g、输出门 o,都从底部的 h_{t−1} 和 x_t 取输入;f 接乘号,i 与 g 相乘后接加号;右侧记忆线过 tanh 再乘 o 得到 h_t

  2. 遗忘:旧记忆乘遗忘门,0.9×1.0 = 0.9,留下九成。

    LSTM 一维演算第 1 帧:四个方框从左到右是旧记忆、留下、新记忆、隐状态。旧记忆 1.0 乘遗忘门 0.9,青绿框显示留下 0.9,后两框还是问号

  3. 写入:输入门乘候选内容,0.2×0.5 = 0.1,加到记忆上,0.9 + 0.1 = 1.0。

    LSTM 一维演算第 2 帧:同一排四个方框,留下的 0.9 加上输入门 0.2 乘候选 0.5,青绿框显示新记忆 1.0,隐状态仍是问号

  4. 读出:新记忆过 tanh,tanh(1.0) ≈ 0.7616;再乘输出门,0.8×0.7616 ≈ 0.6093,这就是 h_t。

    LSTM 一维演算第 3 帧:同一排四个方框,新记忆 1.0 先过 tanh 再乘输出门 0.8,最右青绿框显示隐状态约 0.6093

  5. 回头看:遗忘门接近 1,旧记忆几乎原样留了下来,没有像 vanilla RNN 那样被整体改写。

怎么算

四个门控量,每个都由 x_t 和 h_{t−1} 各配一个权重矩阵算出:

f_t = σ(W_if x_t + W_hf h_{t−1}),遗忘门

i_t = σ(W_ii x_t + W_hi h_{t−1}),输入门

g_t = tanh(W_ig x_t + W_hg h_{t−1}),候选内容

o_t = σ(W_io x_t + W_ho h_{t−1}),输出门

意思是:四个量的算法完全一样,都是「当前输入乘一个矩阵,加上一步隐状态乘一个矩阵」,区别只在用哪对矩阵、套哪个函数。三个门套 sigmoid,得到 0 到 1 的比例;g 套 tanh,得到 −1 到 1 的内容。

再把它们装进两条更新式:

c_t = f_t × c_{t−1} + i_t × g_t

h_t = o_t × tanh(c_t)

意思是:新记忆 = 旧记忆留下的部分 + 新写入的部分;这一步的隐状态 = 新记忆压一下范围,再按输出门的比例取出。

为什么这样能保得更久?记忆线上只有逐元素乘和加,没有每步都乘一个矩阵再过 tanh。遗忘门接近 1 时,旧记忆几乎原样传下去,反向传播的梯度也沿这条线比较顺地往回走。

常见误解

以为 LSTM 彻底解决了梯度消失

记忆线主要靠加法更新,梯度更容易往回传,问题大大缓解,没有完全消失。课件列 RNN 类模型缺点时,梯度爆炸和消失也放在 LSTM 一节里。

以为 g 也是一个门

g 用 tanh,取值可以是负数,它是要写进去的内容本身。真正的门只有 f、i、o 三个,都用 sigmoid。

以为 cell state 和 hidden state 是同一个东西

cell state 是内部的长期记忆,不直接对外;hidden state 是 o_t × tanh(c_t),是这一步对外的输出,也送到下一步去算门。

试一下

旧记忆 1.0,遗忘门 0,输入门 1,候选 0.5,新记忆是多少?这个设置是什么意思?

0×1.0 + 1×0.5 = 0.5。遗忘门为 0 表示旧记忆全部清掉,输入门为 1 表示候选内容全部写进去,等于整个换成新内容。

3. 参数量:为什么是 RNN 的 4 倍

它解决什么问题

LSTM 多了门,也就多了参数。考试常问「同样维数下 LSTM 比 RNN 多多少参数」,这一节把它数清楚。

直觉

vanilla RNN 的核心只有一组「输入矩阵 + 隐状态矩阵」,算出一个量。LSTM 要算 f、i、g、o 四个量,每个量各配一组同样形状的矩阵,所以核心部分正好是 4 份。

一步一步看

目标:按输入 3 维、隐状态 4 维数 LSTM 四个门控量的权重,看总数为什么正好是 vanilla RNN 的 4 倍。

沿用上一页的维数:输入 3 维,隐状态 4 维,不计偏置。

  1. 一个门要一对矩阵:乘 x_t 的是 4×3 = 12 个数,乘 h_{t−1} 的是 4×4 = 16 个数。

  2. 一对共 12 + 16 = 28 个。

  3. 四个门控量各一对,共 4×28 = 112 个。

  4. vanilla RNN 的核心部分 W_hh + W_hx 也是 16 + 12 = 28 个。

    模型 几组矩阵 每组个数 合计
    vanilla RNN(W_hh + W_hx) 1 28 28
    LSTM(f、i、g、o) 4 28 112
  5. 112 ÷ 28 = 4,正好 4 倍。如果每个门再加 4 个偏置,是 112 + 16 = 128。

怎么算

LSTM 核心参数 = 4 ×(隐×输入 + 隐×隐)

意思是:先数一个门要多少(输入矩阵加隐状态矩阵),再乘 4,因为 f、i、g、o 四个量各要一份。输出层 W_yh 两种模型一样,比较时通常不算进去。

常见误解

以为 LSTM 只有三个门,所以是 3 倍

门是三个,但候选内容 g 也要一对矩阵。要算的量是 f、i、g、o 四个,所以是 4 倍。

试一下

输入 2 维、隐状态 3 维,不计偏置,LSTM 核心参数是多少?

一个门:3×2 + 3×3 = 6 + 9 = 15;四个:4×15 = 60。

把它们串起来

LSTM 在 vanilla RNN 的隐状态旁边加了一条 cell state。每一步,四个量 f、i、g、o 都由当前输入和上一步隐状态算出:三个门过 sigmoid 得到 0 到 1 的比例,g 过 tanh 得到要写的内容。

记忆线先乘遗忘门擦掉一部分,再加上「输入门乘 g」写进新内容;隐状态由新记忆过 tanh 再乘输出门得到。记忆线上只有逐元素乘和加,所以遗忘门接近 1 时信息能保很多步,梯度也更容易传回去。

代价是参数变成同维数 RNN 的 4 倍,而且仍然要一步等一步地算。还有一个没解决的问题:把整句交给另一个网络时,信息要压进一个固定长度的向量。读完课堂代码那一页,seq2seq 和 attention 从这里接着讲。

课件里的坑

  • [读图提醒] p.15 右侧的部件名(output、cell state、hidden state、三个门、input)转换后和图对不太齐,按颜色框对照:红框是遗忘门,蓝框是输入门(候选 g 也在蓝框里),紫框是输出门。
  • [简写] p.15 的门式子没写偏置项。按课件口径算参数时不计偏置,112 而非 128。
  • [留白] p.27 第 3 条「LSTM 怎么工作」课件只写了 cell state、hidden state 两个词,下面例 1 展开。
  • [适用条件] p.18 的优缺点放在「04 LSTM」页眉下,几条是 vanilla RNN 和 LSTM 共有的。LSTM 缓解了梯度消失,没有完全解决。

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写四个门控量的式子和两条更新式;再说出每个门管什么、为什么用 sigmoid;然后按完整例题手算一遍一维 LSTM;最后数一次参数,说出为什么是 4 倍。

必背

  1. LSTM:c_t = f_t × c_{t−1} + i_t × g_t,h_t = o_t × tanh(c_t);× 是逐元素相乘。
  2. 遗忘门 f 决定旧记忆留多少,输入门 i 决定新内容写多少,输出门 o 决定拿出多少作为隐状态。
  3. 三个门用 sigmoid,取值 0 到 1,表示放行多少;候选内容 g 用 tanh,取值 −1 到 1,是要写入的内容。
  4. 四个门控量都由 x_t 和 h_{t−1} 算出,各有一对权重矩阵。
  5. cell state 是长期记忆,主要靠加法更新;hidden state 是每一步对外的输出。
  6. LSTM 核心参数是同维数 vanilla RNN 的 4 倍:输入 3、隐状态 4 时 112 对 28(不计偏置)。

课件例题

本讲课件没有带数字的例题。p.27 留了一道思考题,问 LSTM 怎么工作。

例 1(课件 p.27):LSTM 怎么工作

题面:p.27 第 3 条问 LSTM 怎么工作,课件答案只列了 cell state、hidden state 两个词。把它展开。

提示

对照 p.15 的单元图:顶部那条线是什么?三个颜色框各管什么?h_t 从哪里来?

解答
  1. cell state 是长期记忆,横穿单元,主要靠加法更新,信息能较完整地往后传。
  2. 遗忘门决定旧 cell state 留多少,输入门决定候选内容写进多少:c_t = f_t × c_{t−1} + i_t × g_t。
  3. 输出门决定 cell state 有多少拿出来:h_t = o_t × tanh(c_t),hidden state 是每一步对外的输出。
  4. 四个门控量都由 x_t 和 h_{t−1} 算出,门用 sigmoid,候选用 tanh。

完整例题

自编情境。一维 LSTM,旧记忆 c_{t−1} = 1.0,遗忘门 0.9,输入门 0.2,候选内容 0.5,输出门 0.8。(a) 求 c_t 和 h_t。(b) 输入 3 维、隐状态 4 维,不计偏置,LSTM 四组门共多少权重?是 vanilla RNN 核心部分的几倍?

  1. 遗忘:0.9×1.0 = 0.9。
  2. 写入:0.2×0.5 = 0.1,c_t = 0.9 + 0.1 = 1.0。
  3. 读出:tanh(1.0) ≈ 0.7616,h_t = 0.8×0.7616 ≈ 0.6093。
  4. 每组门:4×3 + 4×4 = 12 + 16 = 28;四组 4×28 = 112。
  5. vanilla RNN 的 W_hh + W_hx 是 28,112 ÷ 28 = 4 倍。

答案:c_t = 1.0,h_t ≈ 0.6093;112 个权重,4 倍。

要点:遗忘门接近 1 时旧记忆几乎原样保留。数参数时别忘了候选 g 也有一组矩阵。

答题格式:先写 c_t 的式子代入,再写 h_t 的式子代入;参数题先写一个门的个数,再乘 4。

变式题(先自己做)

(1) 改编自课件 p.15:旧记忆是 2,遗忘门 0.5,输入门 1,候选内容 0.3,新记忆是多少? (2) 自编情境:如果遗忘门恒为 1、输入门恒为 0,记忆线会怎样?这对长依赖有什么意义? (3) 自编情境:输入 5 维、隐状态 8 维,不计偏置,LSTM 核心参数多少?

提示

(1) 新记忆 = 遗忘门 × 旧记忆 + 输入门 × 候选。(2) 代进 c_t 的式子看看。(3) 一个门是「隐×输入 + 隐×隐」,再乘 4。

判分点与答案(非官方评分标准)

判分点:① 更新式代入正确;② 说出遗忘门为 1 时旧记忆原样传下;③ 参数题乘 4 而非乘 3。

  1. (1) 0.5×2 + 1×0.3 = 1.3。
  2. (2) c_t = 1×c_{t−1} + 0×g_t = c_{t−1},记忆原样传下去,多少步以后都不变,所以长期信息能保住。
  3. (3) 一个门 8×5 + 8×8 = 40 + 64 = 104;四个 4×104 = 416。

闪卡自测

1. 写出 LSTM 的两条更新式。

c_t = f_t × c_{t−1} + i_t × g_t,h_t = o_t × tanh(c_t)(p.15)。

2. 三个门各管什么?

遗忘门管旧记忆留多少,输入门管新内容写多少,输出门管拿出多少作为隐状态(p.15)。

3. 门为什么用 sigmoid?

sigmoid 输出在 0 到 1 之间,表示「放行多少」(p.15)。

4. 候选内容 g 用什么函数?

tanh,取值 −1 到 1,是要写入的内容本身(p.15)。

5. 式子里的 × 是什么乘法?

逐元素相乘,两个等长向量对应位置相乘。

6. cell state 和 hidden state 有什么区别?

cell state 是长期记忆,主要靠加法更新;hidden state 是每一步对外的输出(p.15、p.27)。

7. 输入 3、隐状态 4,不计偏置,LSTM 核心参数多少?

112,是 vanilla RNN 核心部分 28 的 4 倍。

8. LSTM 解决梯度消失了吗?

缓解了,没有完全解决(p.18)。

下一讲

下一页 L07c-2 读课堂演示代码:用 PyTorch 的 nn.LSTM 把一张手写数字按行读成 28 步序列,看每一步的张量形状,再把带偏置的参数一项项数出来。再往后的 L07d 把两个 RNN 首尾相接做翻译(seq2seq),那里会再见到一个把分数变成比例的函数 softmax。

下一讲 →
L07c-2 L07c-2 课堂代码:LSTM 把一张手写数字读成 28 步序列

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。