L07c LSTM:一条记忆线,加三个门
先补 sigmoid 和逐元素相乘,再拆开 LSTM 单元:cell state 只做乘和加,遗忘门、输入门、输出门各管一件事;最后数一数参数为什么是 RNN 的 4 倍。
一句话版
LSTM 在 RNN 的隐状态旁边多拉了一条记忆线。这条线每一步只做两件事:按比例擦掉一点旧的,按比例写进一点新的。擦多少、写多少、读出多少,由三个 0 到 1 之间的「门」决定。
上一页 L07b 讲到 vanilla RNN 的记忆每步都被冲淡。这一页讲 LSTM 怎么把长期信息保得更久。
先认识这几个词
读之前最好记得上一页 RNN 的式子 h_t = tanh(W_hh h_{t−1} + W_hx x_t)。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| LSTM | Long Short-Term Memory,长短期记忆网络 | 在 RNN 上加了门和一条长期记忆线的改进版 |
| cell state c_t | 细胞状态 | 长期记忆,横穿整个单元的那条线 |
| hidden state h_t | 隐状态 | 每一步对外给出的结果,也传给下一步 |
| 门 | gate | 一组 0 到 1 之间的数,决定某样信息放行多少 |
| sigmoid σ | 读 sig-moid | 把任何数压到 0 到 1 之间的函数 |
| 逐元素相乘 | element-wise product | 两个等长向量对应位置相乘,结果还是等长向量 |
一个类比:便签之外,再发一本笔记本
上一页的速记员只有一张便签,每听一个词就整张改写。LSTM 给他多发了一本笔记本,再配三个旋钮。
第一个旋钮决定旧笔记留多少,第二个决定新内容写进去多少,第三个决定这一步对外念出多少。
笔记本上的字只按比例擦、按比例添,不用每步整页重抄。旋钮拧到「全留」,旧内容就能原样保存很多步。
类比在哪里失效:
- 真实的门不是一个总旋钮。记忆是一个向量,每个门也是一个同样长的向量,对每一维分别开合。
- 旋钮的位置不是人拧的,每一步都由当前输入和上一步的隐状态算出来,规则靠训练学到。
从零讲起
1. 先补一块:sigmoid 与逐元素相乘(补充)
它解决什么问题
LSTM 的门要回答「放行多少」。答案应该在「一点都不放」和「全部放行」之间,也就是 0 到 1。sigmoid 正好把任何数压到这个范围。
门算出来以后要作用到记忆上,而记忆的每一维要分别控制,这就用到逐元素相乘。
直觉
sigmoid 像一个调光开关。拧到一头是全暗(0),拧到另一头是全亮(1),中间连续可调。
逐元素相乘像给一排灯各配一个调光开关。第 1 盏开到一半,第 2 盏全开,第 3 盏关掉,互不影响。
一步一步看
目标:先比 sigmoid 和 tanh 的值域,再用一个门乘一组记忆,看门怎样对每一维分别留一半、全留或清空。
-
把 sigmoid 和 tanh 画在一起比较:形状都是 S 形,sigmoid 被夹在 0 和 1 之间,tanh 被夹在 −1 和 1 之间。
-
输入 0 时,sigmoid(0) = 0.5,正好一半放行。
-
输入很大时(比如 5),sigmoid 接近 1,几乎全放行;输入很小时(比如 −5),接近 0,几乎全挡住。
-
逐元素相乘:门 (0.5, 1, 0) 乘记忆 (4, 2, 6),对应位置相乘,得到 (2, 2, 0)。
位置 门 记忆 相乘 1 0.5 4 2 2 1 2 2 3 0 6 0 -
第 1 维留了一半,第 2 维原样保留,第 3 维被清空。这就是「对每一维分别开合」。
怎么算
σ(z) = 1 / (1 + e^(−z))
意思是:z 越大,e^(−z) 越接近 0,分母接近 1,结果接近 1;z 越小,e^(−z) 越大,结果接近 0;z 为 0 时 e^0 = 1,结果是 1/2。
逐元素相乘写成 a × b(有的书写成 a ⊙ b),意思是两个等长向量的第 k 维和第 k 维相乘,放到结果的第 k 维。它和矩阵乘法不同,结果的长度不变,各维之间不混合。
常见误解
以为 LSTM 式子里的 × 是矩阵乘法
c_t = f_t × c_{t−1} + i_t × g_t 里的 × 都是逐元素相乘。f_t 和 c_{t−1} 长度相同,乘完长度也相同。矩阵乘法只出现在「算门」那一步,即权重矩阵乘 x_t 和 h_{t−1}。
以为门只能取 0 或 1
sigmoid 的输出是连续的,门可以是 0.9、0.2 这样的中间值,表示「留九成」「写两成」。
试一下
门 (1, 0.5) 逐元素乘记忆 (3, −2),结果是多少?
(1×3, 0.5×(−2)) = (3, −1)。
2. cell state 与三个门
它解决什么问题
vanilla RNN 每一步都把整个隐状态乘 W_hh 再过 tanh,旧信息每步都被改写一次。LSTM 要给长期信息一条「不用每步都重写」的通道,同时保留按需忘掉、按需写入的能力。
从哪来(补充)
LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 1997 年发表在期刊 Neural Computation 上。最初的版本没有遗忘门,遗忘门是 Gers、Schmidhuber、Cummins 1999 年加进去的。今天课本里说的 LSTM 一般都带遗忘门。
出处:Wikipedia: Long short-term memory
直觉
把单元图想成一条传送带加三个闸口。传送带从左到右横穿顶部,就是 cell state。
第一个闸口在传送带上按比例拿掉旧货(遗忘门)。第二个闸口往传送带上按比例放新货(输入门管放多少,候选内容 g 是新货本身)。第三个闸口决定从传送带上取多少送出去当这一步的隐状态(输出门)。
一步一步看
目标:用一维数字依次走遗忘、写入、读出三步,看遗忘门接近 1 时旧记忆几乎原样留下。
先看单元图,再用一维的数字走一遍。设旧记忆 c_{t−1} = 1.0,遗忘门 f_t = 0.9,输入门 i_t = 0.2,候选内容 g_t = 0.5,输出门 o_t = 0.8。
-
认识单元图:顶部一条记忆线贯穿左右,下方是四个由 x_t 和 h_{t−1} 算出的门控量。
-
遗忘:旧记忆乘遗忘门,0.9×1.0 = 0.9,留下九成。
-
写入:输入门乘候选内容,0.2×0.5 = 0.1,加到记忆上,0.9 + 0.1 = 1.0。
-
读出:新记忆过 tanh,tanh(1.0) ≈ 0.7616;再乘输出门,0.8×0.7616 ≈ 0.6093,这就是 h_t。
-
回头看:遗忘门接近 1,旧记忆几乎原样留了下来,没有像 vanilla RNN 那样被整体改写。
怎么算
四个门控量,每个都由 x_t 和 h_{t−1} 各配一个权重矩阵算出:
f_t = σ(W_if x_t + W_hf h_{t−1}),遗忘门
i_t = σ(W_ii x_t + W_hi h_{t−1}),输入门
g_t = tanh(W_ig x_t + W_hg h_{t−1}),候选内容
o_t = σ(W_io x_t + W_ho h_{t−1}),输出门
意思是:四个量的算法完全一样,都是「当前输入乘一个矩阵,加上一步隐状态乘一个矩阵」,区别只在用哪对矩阵、套哪个函数。三个门套 sigmoid,得到 0 到 1 的比例;g 套 tanh,得到 −1 到 1 的内容。
再把它们装进两条更新式:
c_t = f_t × c_{t−1} + i_t × g_t
h_t = o_t × tanh(c_t)
意思是:新记忆 = 旧记忆留下的部分 + 新写入的部分;这一步的隐状态 = 新记忆压一下范围,再按输出门的比例取出。
为什么这样能保得更久?记忆线上只有逐元素乘和加,没有每步都乘一个矩阵再过 tanh。遗忘门接近 1 时,旧记忆几乎原样传下去,反向传播的梯度也沿这条线比较顺地往回走。
常见误解
以为 LSTM 彻底解决了梯度消失
记忆线主要靠加法更新,梯度更容易往回传,问题大大缓解,没有完全消失。课件列 RNN 类模型缺点时,梯度爆炸和消失也放在 LSTM 一节里。
以为 g 也是一个门
g 用 tanh,取值可以是负数,它是要写进去的内容本身。真正的门只有 f、i、o 三个,都用 sigmoid。
以为 cell state 和 hidden state 是同一个东西
cell state 是内部的长期记忆,不直接对外;hidden state 是 o_t × tanh(c_t),是这一步对外的输出,也送到下一步去算门。
试一下
旧记忆 1.0,遗忘门 0,输入门 1,候选 0.5,新记忆是多少?这个设置是什么意思?
0×1.0 + 1×0.5 = 0.5。遗忘门为 0 表示旧记忆全部清掉,输入门为 1 表示候选内容全部写进去,等于整个换成新内容。
3. 参数量:为什么是 RNN 的 4 倍
它解决什么问题
LSTM 多了门,也就多了参数。考试常问「同样维数下 LSTM 比 RNN 多多少参数」,这一节把它数清楚。
直觉
vanilla RNN 的核心只有一组「输入矩阵 + 隐状态矩阵」,算出一个量。LSTM 要算 f、i、g、o 四个量,每个量各配一组同样形状的矩阵,所以核心部分正好是 4 份。
一步一步看
目标:按输入 3 维、隐状态 4 维数 LSTM 四个门控量的权重,看总数为什么正好是 vanilla RNN 的 4 倍。
沿用上一页的维数:输入 3 维,隐状态 4 维,不计偏置。
-
一个门要一对矩阵:乘 x_t 的是 4×3 = 12 个数,乘 h_{t−1} 的是 4×4 = 16 个数。
-
一对共 12 + 16 = 28 个。
-
四个门控量各一对,共 4×28 = 112 个。
-
vanilla RNN 的核心部分 W_hh + W_hx 也是 16 + 12 = 28 个。
模型 几组矩阵 每组个数 合计 vanilla RNN(W_hh + W_hx) 1 28 28 LSTM(f、i、g、o) 4 28 112 -
112 ÷ 28 = 4,正好 4 倍。如果每个门再加 4 个偏置,是 112 + 16 = 128。
怎么算
LSTM 核心参数 = 4 ×(隐×输入 + 隐×隐)
意思是:先数一个门要多少(输入矩阵加隐状态矩阵),再乘 4,因为 f、i、g、o 四个量各要一份。输出层 W_yh 两种模型一样,比较时通常不算进去。
常见误解
以为 LSTM 只有三个门,所以是 3 倍
门是三个,但候选内容 g 也要一对矩阵。要算的量是 f、i、g、o 四个,所以是 4 倍。
试一下
输入 2 维、隐状态 3 维,不计偏置,LSTM 核心参数是多少?
一个门:3×2 + 3×3 = 6 + 9 = 15;四个:4×15 = 60。
把它们串起来
LSTM 在 vanilla RNN 的隐状态旁边加了一条 cell state。每一步,四个量 f、i、g、o 都由当前输入和上一步隐状态算出:三个门过 sigmoid 得到 0 到 1 的比例,g 过 tanh 得到要写的内容。
记忆线先乘遗忘门擦掉一部分,再加上「输入门乘 g」写进新内容;隐状态由新记忆过 tanh 再乘输出门得到。记忆线上只有逐元素乘和加,所以遗忘门接近 1 时信息能保很多步,梯度也更容易传回去。
代价是参数变成同维数 RNN 的 4 倍,而且仍然要一步等一步地算。还有一个没解决的问题:把整句交给另一个网络时,信息要压进一个固定长度的向量。读完课堂代码那一页,seq2seq 和 attention 从这里接着讲。
课件里的坑
- [读图提醒] p.15 右侧的部件名(output、cell state、hidden state、三个门、input)转换后和图对不太齐,按颜色框对照:红框是遗忘门,蓝框是输入门(候选 g 也在蓝框里),紫框是输出门。
- [简写] p.15 的门式子没写偏置项。按课件口径算参数时不计偏置,112 而非 128。
- [留白] p.27 第 3 条「LSTM 怎么工作」课件只写了 cell state、hidden state 两个词,下面例 1 展开。
- [适用条件] p.18 的优缺点放在「04 LSTM」页眉下,几条是 vanilla RNN 和 LSTM 共有的。LSTM 缓解了梯度消失,没有完全解决。
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写四个门控量的式子和两条更新式;再说出每个门管什么、为什么用 sigmoid;然后按完整例题手算一遍一维 LSTM;最后数一次参数,说出为什么是 4 倍。
必背
- LSTM:c_t = f_t × c_{t−1} + i_t × g_t,h_t = o_t × tanh(c_t);× 是逐元素相乘。
- 遗忘门 f 决定旧记忆留多少,输入门 i 决定新内容写多少,输出门 o 决定拿出多少作为隐状态。
- 三个门用 sigmoid,取值 0 到 1,表示放行多少;候选内容 g 用 tanh,取值 −1 到 1,是要写入的内容。
- 四个门控量都由 x_t 和 h_{t−1} 算出,各有一对权重矩阵。
- cell state 是长期记忆,主要靠加法更新;hidden state 是每一步对外的输出。
- LSTM 核心参数是同维数 vanilla RNN 的 4 倍:输入 3、隐状态 4 时 112 对 28(不计偏置)。
课件例题
本讲课件没有带数字的例题。p.27 留了一道思考题,问 LSTM 怎么工作。
例 1(课件 p.27):LSTM 怎么工作
题面:p.27 第 3 条问 LSTM 怎么工作,课件答案只列了 cell state、hidden state 两个词。把它展开。
提示
对照 p.15 的单元图:顶部那条线是什么?三个颜色框各管什么?h_t 从哪里来?
解答
- cell state 是长期记忆,横穿单元,主要靠加法更新,信息能较完整地往后传。
- 遗忘门决定旧 cell state 留多少,输入门决定候选内容写进多少:c_t = f_t × c_{t−1} + i_t × g_t。
- 输出门决定 cell state 有多少拿出来:h_t = o_t × tanh(c_t),hidden state 是每一步对外的输出。
- 四个门控量都由 x_t 和 h_{t−1} 算出,门用 sigmoid,候选用 tanh。
完整例题
自编情境。一维 LSTM,旧记忆 c_{t−1} = 1.0,遗忘门 0.9,输入门 0.2,候选内容 0.5,输出门 0.8。(a) 求 c_t 和 h_t。(b) 输入 3 维、隐状态 4 维,不计偏置,LSTM 四组门共多少权重?是 vanilla RNN 核心部分的几倍?
- 遗忘:0.9×1.0 = 0.9。
- 写入:0.2×0.5 = 0.1,c_t = 0.9 + 0.1 = 1.0。
- 读出:tanh(1.0) ≈ 0.7616,h_t = 0.8×0.7616 ≈ 0.6093。
- 每组门:4×3 + 4×4 = 12 + 16 = 28;四组 4×28 = 112。
- vanilla RNN 的 W_hh + W_hx 是 28,112 ÷ 28 = 4 倍。
答案:c_t = 1.0,h_t ≈ 0.6093;112 个权重,4 倍。
要点:遗忘门接近 1 时旧记忆几乎原样保留。数参数时别忘了候选 g 也有一组矩阵。
答题格式:先写 c_t 的式子代入,再写 h_t 的式子代入;参数题先写一个门的个数,再乘 4。
变式题(先自己做)
(1) 改编自课件 p.15:旧记忆是 2,遗忘门 0.5,输入门 1,候选内容 0.3,新记忆是多少? (2) 自编情境:如果遗忘门恒为 1、输入门恒为 0,记忆线会怎样?这对长依赖有什么意义? (3) 自编情境:输入 5 维、隐状态 8 维,不计偏置,LSTM 核心参数多少?
提示
(1) 新记忆 = 遗忘门 × 旧记忆 + 输入门 × 候选。(2) 代进 c_t 的式子看看。(3) 一个门是「隐×输入 + 隐×隐」,再乘 4。
判分点与答案(非官方评分标准)
判分点:① 更新式代入正确;② 说出遗忘门为 1 时旧记忆原样传下;③ 参数题乘 4 而非乘 3。
- (1) 0.5×2 + 1×0.3 = 1.3。
- (2) c_t = 1×c_{t−1} + 0×g_t = c_{t−1},记忆原样传下去,多少步以后都不变,所以长期信息能保住。
- (3) 一个门 8×5 + 8×8 = 40 + 64 = 104;四个 4×104 = 416。
闪卡自测
1. 写出 LSTM 的两条更新式。
c_t = f_t × c_{t−1} + i_t × g_t,h_t = o_t × tanh(c_t)(p.15)。
2. 三个门各管什么?
遗忘门管旧记忆留多少,输入门管新内容写多少,输出门管拿出多少作为隐状态(p.15)。
3. 门为什么用 sigmoid?
sigmoid 输出在 0 到 1 之间,表示「放行多少」(p.15)。
4. 候选内容 g 用什么函数?
tanh,取值 −1 到 1,是要写入的内容本身(p.15)。
5. 式子里的 × 是什么乘法?
逐元素相乘,两个等长向量对应位置相乘。
6. cell state 和 hidden state 有什么区别?
cell state 是长期记忆,主要靠加法更新;hidden state 是每一步对外的输出(p.15、p.27)。
7. 输入 3、隐状态 4,不计偏置,LSTM 核心参数多少?
112,是 vanilla RNN 核心部分 28 的 4 倍。
8. LSTM 解决梯度消失了吗?
缓解了,没有完全解决(p.18)。
下一讲
下一页 L07c-2 读课堂演示代码:用 PyTorch 的 nn.LSTM 把一张手写数字按行读成 28 步序列,看每一步的张量形状,再把带偏置的参数一项项数出来。再往后的 L07d 把两个 RNN 首尾相接做翻译(seq2seq),那里会再见到一个把分数变成比例的函数 softmax。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。