L07b-3 LSTM:给记忆留一条不被反复改写的通道
从门和 sigmoid 讲起,一步一步算一遍 LSTM 的四个门和记忆更新,看 c 通道为什么让梯度传得更远,最后把 RNN 一层层堆成多层网络。
一句话版
LSTM 在普通 RNN 的隐藏状态 h 之外,多维护一条记忆通道 c。
每一步用四个门决定:旧记忆留几成、新内容写几成、写什么、对外露几成。c 的更新只是「旧值乘一个比例,再加一项」,反向时梯度沿 c 只乘这个比例、不乘 W,所以能传得更远。
前置:梯度为什么会消失,见上一页 L07b-2。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| LSTM | Long Short-Term Memory,长短期记忆网络 | 加了门来控制记忆擦写的 RNN |
| 记忆单元 c | cell state | 沿时间传下去的长期记忆,LSTM 新加的通道 |
| 门 | gate | 0 到 1 之间的开度,决定放行多少 |
| sigmoid | 读「西格莫伊德」,σ | 把任意数压到 0 到 1 之间的函数 |
| ⊙ | 读「逐元素乘」 | 两组数按位置一一相乘,不做矩阵乘法 |
| 多层 RNN | multilayer / stacked RNN | 把一层 RNN 的输出当下一层的输入,往上叠 |
一个类比:便签之外再加一本笔记本
还是那张边听边记的便签。普通 RNN 每一步都按同一套规则把整张便签重抄一遍,倒查时线索越抄越淡。
LSTM 在便签外加了一本笔记本。每一步先决定划掉笔记本上哪些旧内容,再决定写进多少新内容,最后决定这一步对外说多少。
笔记本上的旧内容不用每次重抄,只按比例保留。倒查时线索断得慢,老信息留得久。
类比在哪里失效:
- 真实网络的「划掉多少」是 0 到 1 之间的比例,而且每一位各开各的。
- 门开多大不是人定的,是网络每一步根据输入算出来、再由训练学出来的。
从零讲起
1. 先补一块:门和 sigmoid(补充)
它解决什么问题
LSTM 里到处是「门」。门要能表达「全关」「全开」和「开一半」,需要一个函数把任意数压到 0 到 1 之间。这个函数就是 sigmoid。
直觉
sigmoid 输入很负时输出接近 0,输入很正时输出接近 1,输入 0 时输出正好 0.5。
拿它的输出去乘一个数,就相当于给这个数开了一扇门:乘 0 是全挡住,乘 1 是全放行,乘 0.5 是放一半。
一步一步看
目标:代入几个 z 看 sigmoid 怎样落在 0 到 1 之间当门的开度,再看 tanh 为什么更适合当内容。
-
sigmoid 的公式是 σ(z) = 1 / (1 + e⁻ᶻ)。
-
代几个输入看看:
z σ(z) 门的状态 −4 0.018 几乎全关 −2 0.119 开一条缝 0 0.5 开一半 2 0.881 大半开 4 0.982 几乎全开 -
用它当门:内容 0.8 经过开度 0.9 的门,剩 0.9 × 0.8 = 0.72。
-
对比 tanh:它落在 −1 到 1,可以取负值,适合当「要写进去的内容」,不适合当开关。
怎么算
门的输出 = σ(z) ⊙ 内容。
意思是:σ(z) 是开度,⊙ 让每一位各开各的门。开度由网络根据当前输入算出来。
常见误解
以为门只能是 0 或 1
sigmoid 的输出是连续的,门可以开 0.3、0.9 等任意比例。只有输入非常大或非常小时才接近 0 或 1。
试一下
内容 (1, −2) 经过开度 (0.5, 0.1) 的门,结果是什么?
逐元素乘:(0.5 × 1, 0.1 × (−2)) = (0.5, −0.2)。
2. 四个门与记忆更新
它解决什么问题
上一页的结论是:梯度消失没法靠裁剪救,只能改结构。LSTM 就是为缓解梯度消失改出来的结构。它的核心是用四个门控制记忆单元 c 的擦和写。
从哪来(补充)
LSTM 的常用引用是 Hochreiter 与 Schmidhuber 1997 年发表在 Neural Computation 的论文。最初版本没有遗忘门,遗忘门由 Gers、Schmidhuber、Cummins 1999 年加入。
出处:Wikipedia: Long short-term memory
直觉
四个门都从同一个地方来:把 hₜ₋₁ 和 xₜ 竖着拼成一个长向量,乘一个大矩阵 W,切成四段。
三段过 sigmoid 当开关:f 管旧记忆留几成,i 管新内容写几成,o 管对外露几成。第四段 g 过 tanh,是要写进去的候选内容,课件叫它 Update gate。
一步一步看
目标:用一组算好的门值逐步算出新记忆和输出,看旧记忆留多少、新内容写多少、最后对外给多少。
自拟一组标量:旧记忆 cₜ₋₁ = 0.8,四个门已经算好:f = 0.9,i = 0.2,g = −0.5,o = 0.5。
-
旧记忆留多少:f × cₜ₋₁ = 0.9 × 0.8 = 0.72。
-
新内容写多少:i × g = 0.2 × (−0.5) = −0.10。
-
相加得新记忆:cₜ = 0.72 + (−0.10) = 0.62。
-
决定对外输出:hₜ = o × tanh(cₜ) = 0.5 × 0.551 ≈ 0.2756。
怎么算
(i, f, o, g) = (σ, σ, σ, tanh)(W (hₜ₋₁ ; xₜ)),cₜ = f ⊙ cₜ₋₁ + i ⊙ g,hₜ = o ⊙ tanh(cₜ)。
意思是:先用拼接向量算出四个门;旧记忆按 f 保留一部分,再加上按 i 放行的新内容,得到新 c;最后把新 c 过 tanh,按 o 露出一部分,得到新 h。
W 的形状是 4h × 2h:输入是 2h 维的拼接向量,输出 4h 个数切成四段。同维度的 vanilla RNN 的 W 是 h × 2h,LSTM 正好是它的 4 倍。
常见误解
把 c 和 h 当成一回事
c 是单元内部沿时间传的长期记忆,h 是每步对外的输出,也参与下一步算门。算的时候先 c 后 h,因为 h 要用新的 c。
把四个门的激活函数记混
开关要落在 0 到 1,用 sigmoid:f、i、o。写入内容要能取负值,用 tanh:g。
试一下
旧 c = 1,f = 0.5,i = 1,g = 0.3,o = 1,新的 c 和 h 是多少?
c = 0.5 × 1 + 1 × 0.3 = 0.8;h = 1 × tanh(0.8) ≈ 0.664。
3. 不间断的梯度流
它解决什么问题
LSTM 改结构的目的是让梯度传得更远。这一节看清楚:梯度沿 c 往回走时,每一步到底乘了什么。
直觉
c 的更新是 cₜ = f ⊙ cₜ₋₁ + i ⊙ g。对 cₜ₋₁ 求导,只剩 f。
所以梯度沿 c 往回走一步,只和 f 逐元素相乘。没有矩阵 W,也没有 tanh 导数。课件把这条路叫 Uninterrupted gradient flow。
f 是网络每一步根据输入算出来的,可以学着在需要记住的地方开到接近 1。
一步一步看
目标:让普通 RNN 的 h 和 LSTM 的 c 各往回走 10 步,看只乘门值的 c 多保住了多少梯度。
-
普通 RNN 的 h 往回走一步:乘 W_hhᵀ 和 diag(1 − h²)。
-
LSTM 的 c 往回走一步:只乘 f。
-
走 10 步对比:
-
两者差了三百多倍。差别来自 c 的反向只乘门值、不乘 W。
怎么算
∂cₜ/∂cₜ₋₁ = f(逐元素),往回走 k 步就是 f 连乘 k 次。
意思是:梯度沿 c 衰减多快,完全由遗忘门决定,不再被 W 的奇异值锁死。
常见误解
以为 LSTM 让梯度永不衰减
f 小于 1 时沿途照样缩小,只是缩多少由门决定。它缓解的是消失,爆炸照样可能发生,训练时仍常配合裁剪。
试一下
f 一直是 0.95,梯度沿 c 传 10 步还剩多少?
0.95¹⁰ ≈ 0.5987,剩六成左右。
4. 多层 RNN:把 RNN 往上叠
它解决什么问题
一层 RNN 只在时间上展开。想让网络学到更抽象的特征,可以像 CNN 叠卷积层一样,在深度方向也叠几层。
直觉
第 1 层照常读输入序列。第 2 层把第 1 层每一步的 h 当成自己的输入 x。再往上同理。
每一层有自己的 Wˡ,同一层内各时间步共用。层和层之间不共用。
一步一步看
目标:看多层 RNN 的每一格怎样把下一层的输出和本层上一时刻的状态拼起来,乘 Wˡ 后回到 n 维。
-
第 l 层第 t 步,要用两样东西:下一层同一时刻的输出 hₜˡ⁻¹,和本层上一时刻的状态 hₜ₋₁ˡ。
-
两个 n 维向量竖着拼成 2n 维。
-
乘 n × 2n 的 Wˡ,回到 n 维,再过 tanh。
-
LSTM 版同理,只是 Wˡ 变成 4n × 2n,切四段得四个门。
怎么算
hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),Wˡ 是 n × 2n。
意思是:每一层每一步都是一个普通 RNN 单元,只是它的「输入」换成了下面一层同一时刻的输出。
常见误解
以为多层 RNN 所有层共用一个 W
每层各有自己的 Wˡ。共享只发生在同一层的不同时间步之间。
试一下
隐藏维度 n = 64,三层 vanilla RNN,不计偏置一共多少权重?
每层 Wˡ 是 64 × 128 = 8192,三层共 3 × 8192 = 24576。
把它们串起来
上一页的结论是:普通 RNN 反向时每一步都乘同一个 W,梯度要么炸要么消,消失裁剪救不了。
LSTM 的办法是多加一条记忆通道 c。四个门都由拼接向量乘 4h × 2h 的 W 算出:f、i、o 过 sigmoid 当开关,g 过 tanh 当内容。新记忆是旧记忆乘 f 再加 i 乘 g,新输出是 o 乘 tanh(c)。
c 的更新只是「乘一个比例再加一项」,反向时梯度沿 c 只乘 f、不乘 W,不再被 W 的奇异值锁死。网络可以学着在需要记住的地方把 f 开到接近 1。
把这样的单元在深度方向叠起来,就是多层 RNN:每层自带一个 Wˡ,下一层的 h 当上一层的输入。
课件里的坑
- [课件用词] LSTM 的 g 课件叫 Update gate,其他教材常叫 candidate 或 gate gate,考试按课件的叫法(p.83)。
- [读图提醒] 课件的 LSTM 公式把 W 写成 4h×2h,同页多层 RNN 用 n 表示维度,两个字母指的是同一个隐藏维度(p.75、p.82)。
- [课件留白] 课件只说 c 的反向「不乘 W」,没说 f 小于 1 时梯度照样衰减,LSTM 是缓解而非根除(p.85)。
课后 10 分钟:考点复习
这 10 分钟怎么用:前 3 分钟读必背 5 条,第 3 条要能默写公式;中间 4 分钟把四步记忆更新自己算一遍,再做课件例题;最后 3 分钟做变式题,体会 c 为什么能留住信息。
必背
- LSTM 把 hₜ₋₁ 和 xₜ 拼成 2h 维,乘 4h×2h 的 W,切成四段:i、f、o 过 sigmoid,g 过 tanh
- f 遗忘门决定擦多少,i 输入门决定写不写,g(课件称 Update gate)决定写什么,o 输出门决定露多少
- c = f ⊙ c + i ⊙ g,h = o ⊙ tanh(c),先算 c 再算 h
- c 的反向只和 f 逐元素相乘、不乘 W,梯度能流得更远,所以 LSTM 缓解梯度消失
- 多层 RNN:hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),下一层同一时刻的输出和本层上一时刻的状态拼成 2n 维,Wˡ 是 n×2n
课件例题
例 1(课件 p.75):多层 RNN 里,第 l 层第 t 步的状态由哪两样东西决定?W 是什么形状?
题面:hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),h ∈ ℝⁿ;同页 LSTM 版的 Wˡ 是 4n×2n。
提示
一个来自下面一层,一个来自本层的过去。
解答
一是下面一层同一时刻的输出 hₜˡ⁻¹,二是本层上一时刻的状态 hₜ₋₁ˡ。两个 n 维向量竖着拼成 2n 维,乘 n×2n 的 Wˡ 回到 n 维。LSTM 版乘 4n×2n 得 4n 个数,切成四段得 i、f、o、g。
例 2(课件 p.82–83):LSTM 四个门各管什么?为什么激活函数不一样?
题面:x 和 h 拼成 2h 维,乘 4h×2h 的 W,切四段得 i、f、o、g。
提示
哪几个是开关,哪个是内容?
解答
f 决定是否擦除 cell,i 决定是否写入,g(课件称 Update gate)决定写入多少,o 决定把 cell 露出多少。i、f、o 是开关,用 sigmoid 落在 (0,1);g 是要写进去的内容,用 tanh 允许正负。
例 3(课件 p.84–86):从 cₜ 反向到 cₜ₋₁ 要乘什么?和 vanilla RNN 比有什么不同?
题面:cₜ = f ⊙ cₜ₋₁ + i ⊙ g;课件称这条路为 Uninterrupted gradient flow。
提示
对 cₜ₋₁ 求导,看哪一项留下来。
解答
只和 f 逐元素相乘,没有矩阵乘 W;vanilla RNN 每退一步都要乘一次 W_hhᵀ 和 tanh 导数。f 由网络每步根据输入算出,可以学着在需要长期记忆的地方开到接近 1。f 小于 1 时梯度仍会缩小,所以是缓解而非根除。
完整例题
题面(自编情境):(a) LSTM 单步:c 的旧值 0.8,f = 0.9,i = 0.2,g = −0.5,o = 0.5,求新的 c 和 h。(b) 若 f 一直是 0.9,梯度沿 c 往回传 10 步还剩多少?标量 vanilla RNN 每步乘 0.5、传 10 步呢?
解法:
- 新的 c = f × 旧 c + i × g = 0.9 × 0.8 + 0.2 × (−0.5) = 0.72 − 0.10 = 0.62。
- 新的 h = o × tanh(c) = 0.5 × tanh(0.62) ≈ 0.5 × 0.551 ≈ 0.2756。
- 沿 c 传 10 步:每步只乘 f,0.9¹⁰ ≈ 0.3487。
- vanilla 传 10 步:0.5¹⁰ ≈ 0.000977。
要点:(a) 里 f = 0.9 让旧记忆的九成原样留下,i 很小所以新内容只写进一点,旧 c 只被 f 按比例缩放,没有被矩阵整体改写。(b) 里两者差了三百多倍,差别来自 c 的反向只乘门值、不乘 W。
答题格式:每一步写出代入后的完整式子再给数值,LSTM 的两步分开写,先 c 后 h,因为 h 要用新 c。
变式题(先自己做)
自编情境:
(a) LSTM 单步:旧 c = 0.5,f = 0.6,i = 1,g = 0.4,o = 1,求新的 c 和 h。 (b) 若 f 一直保持 0.6,梯度沿 c 往回传 5 步还剩原来的几分之几?和标量 vanilla RNN 每步乘 0.5、传 5 步相比如何? (c) 隐藏维度 h = 50,按课件 W 为 4h×2h,LSTM 不计偏置有多少权重?同维度 vanilla RNN 呢?
提示
(a) 先算 c,再算 h,h 用的是新 c。(b) 沿 c 反向每步只乘 f,连乘 5 次即可。(c) vanilla 的 W 按 p.75 是 h×2h。
判分点与答案(非官方评分标准)
判分点:① c 和 h 的先后顺序;② (b) 是否用 f 的幂而不是 W;③ (c) 是否写出矩阵形状再相乘。
(a) c = 0.6 × 0.5 + 1 × 0.4 = 0.7;h = 1 × tanh(0.7) ≈ 0.6044。
(b) 0.6⁵ ≈ 0.0778;vanilla 每步 0.5 时 0.5⁵ = 0.03125。LSTM 剩得更多,而且 f 可以被网络学到更接近 1,例如 0.95 时传 10 步还剩约 0.5987。
(c) LSTM:W 为 200×100,共 20,000 个权重;vanilla:W 为 50×100,共 5,000 个。LSTM 是 4 倍,对应四个门各一份。
闪卡自测
1. LSTM 四个门各是什么、用什么激活?
f 遗忘、i 输入、o 输出三个用 sigmoid;g(课件称 Update gate)用 tanh(p.83)。
2. 写出 LSTM 的记忆更新和输出公式。
c = f ⊙ c + i ⊙ g,h = o ⊙ tanh(c)(p.82)。
3. LSTM 的 W 是什么形状?为什么?
4h×2h:输入是 h 和 x 拼成的 2h 维,输出切成四个门各 h 维(p.82)。
4. 为什么 LSTM 能缓解梯度消失?
c 的反向只和 f 逐元素相乘、没有矩阵乘 W,梯度沿 c 不再被 W 的奇异值连乘压没(p.85、p.86)。
5. 多层 RNN 的 Wˡ 为什么是 n×2n?
输入是下一层同一时刻的输出和本层上一时刻的状态,两个 n 维拼成 2n 维,输出回到 n 维(p.75)。
下一讲
神经网络部分到这里结束,下一讲转向 Intelligent/Expert Systems,内容不衔接。期中考前回来把 L07a-3 的尺寸参数题和本页两道 LSTM 计算各做一遍。
下一页是 L08a:专家系统。
上一页是 L07b-2:梯度爆炸与消失。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。