← COMP5511 全部讲次
L07b-3 · 第 7 周

L07b-3 LSTM:给记忆留一条不被反复改写的通道

从门和 sigmoid 讲起,一步一步算一遍 LSTM 的四个门和记忆更新,看 c 通道为什么让梯度传得更远,最后把 RNN 一层层堆成多层网络。

一句话版

LSTM 在普通 RNN 的隐藏状态 h 之外,多维护一条记忆通道 c。

每一步用四个门决定:旧记忆留几成、新内容写几成、写什么、对外露几成。c 的更新只是「旧值乘一个比例,再加一项」,反向时梯度沿 c 只乘这个比例、不乘 W,所以能传得更远。

前置:梯度为什么会消失,见上一页 L07b-2。

先认识这几个词

词 全称 / 读法 一句人话
LSTM Long Short-Term Memory,长短期记忆网络 加了门来控制记忆擦写的 RNN
记忆单元 c cell state 沿时间传下去的长期记忆,LSTM 新加的通道
门 gate 0 到 1 之间的开度,决定放行多少
sigmoid 读「西格莫伊德」,σ 把任意数压到 0 到 1 之间的函数
⊙ 读「逐元素乘」 两组数按位置一一相乘,不做矩阵乘法
多层 RNN multilayer / stacked RNN 把一层 RNN 的输出当下一层的输入,往上叠

一个类比:便签之外再加一本笔记本

还是那张边听边记的便签。普通 RNN 每一步都按同一套规则把整张便签重抄一遍,倒查时线索越抄越淡。

LSTM 在便签外加了一本笔记本。每一步先决定划掉笔记本上哪些旧内容,再决定写进多少新内容,最后决定这一步对外说多少。

笔记本上的旧内容不用每次重抄,只按比例保留。倒查时线索断得慢,老信息留得久。

类比在哪里失效:

  • 真实网络的「划掉多少」是 0 到 1 之间的比例,而且每一位各开各的。
  • 门开多大不是人定的,是网络每一步根据输入算出来、再由训练学出来的。

从零讲起

1. 先补一块:门和 sigmoid(补充)

它解决什么问题

LSTM 里到处是「门」。门要能表达「全关」「全开」和「开一半」,需要一个函数把任意数压到 0 到 1 之间。这个函数就是 sigmoid。

直觉

sigmoid 输入很负时输出接近 0,输入很正时输出接近 1,输入 0 时输出正好 0.5。

拿它的输出去乘一个数,就相当于给这个数开了一扇门:乘 0 是全挡住,乘 1 是全放行,乘 0.5 是放一半。

一步一步看

目标:代入几个 z 看 sigmoid 怎样落在 0 到 1 之间当门的开度,再看 tanh 为什么更适合当内容。

  1. sigmoid 的公式是 σ(z) = 1 / (1 + e⁻ᶻ)。

  2. 代几个输入看看:

    z σ(z) 门的状态
    −4 0.018 几乎全关
    −2 0.119 开一条缝
    0 0.5 开一半
    2 0.881 大半开
    4 0.982 几乎全开
  3. 用它当门:内容 0.8 经过开度 0.9 的门,剩 0.9 × 0.8 = 0.72。

  4. 对比 tanh:它落在 −1 到 1,可以取负值,适合当「要写进去的内容」,不适合当开关。

怎么算

门的输出 = σ(z) ⊙ 内容。

意思是:σ(z) 是开度,⊙ 让每一位各开各的门。开度由网络根据当前输入算出来。

常见误解

以为门只能是 0 或 1

sigmoid 的输出是连续的,门可以开 0.3、0.9 等任意比例。只有输入非常大或非常小时才接近 0 或 1。

试一下

内容 (1, −2) 经过开度 (0.5, 0.1) 的门,结果是什么?

逐元素乘:(0.5 × 1, 0.1 × (−2)) = (0.5, −0.2)。

2. 四个门与记忆更新

它解决什么问题

上一页的结论是:梯度消失没法靠裁剪救,只能改结构。LSTM 就是为缓解梯度消失改出来的结构。它的核心是用四个门控制记忆单元 c 的擦和写。

从哪来(补充)

LSTM 的常用引用是 Hochreiter 与 Schmidhuber 1997 年发表在 Neural Computation 的论文。最初版本没有遗忘门,遗忘门由 Gers、Schmidhuber、Cummins 1999 年加入。

出处:Wikipedia: Long short-term memory

直觉

四个门都从同一个地方来:把 hₜ₋₁ 和 xₜ 竖着拼成一个长向量,乘一个大矩阵 W,切成四段。

三段过 sigmoid 当开关:f 管旧记忆留几成,i 管新内容写几成,o 管对外露几成。第四段 g 过 tanh,是要写进去的候选内容,课件叫它 Update gate。

四个门的来源:拼接向量 hₜ₋₁ 和 xₜ 乘 4n×2n 的 W,切成 f、i、g、o 四段,f、i、o 过 sigmoid 当开关,g 过 tanh 当内容

一步一步看

目标:用一组算好的门值逐步算出新记忆和输出,看旧记忆留多少、新内容写多少、最后对外给多少。

自拟一组标量:旧记忆 cₜ₋₁ = 0.8,四个门已经算好:f = 0.9,i = 0.2,g = −0.5,o = 0.5。

  1. 旧记忆留多少:f × cₜ₋₁ = 0.9 × 0.8 = 0.72。

    LSTM 第 1 步:上方 cell 通道上,cₜ₋₁ = 0.8 经过 × f 变成 0.72,算式 0.9 × 0.8 = 0.72

  2. 新内容写多少:i × g = 0.2 × (−0.5) = −0.10。

    LSTM 第 2 步:下方支路算 i × g = 0.2 × (−0.5) = −0.10,准备加进 cell 通道

  3. 相加得新记忆:cₜ = 0.72 + (−0.10) = 0.62。

    LSTM 第 3 步:cell 通道上 0.72 和 −0.10 在加号处汇合,得到新记忆 cₜ = 0.62

  4. 决定对外输出:hₜ = o × tanh(cₜ) = 0.5 × 0.551 ≈ 0.2756。

    LSTM 第 4 步:新记忆 0.62 过 tanh 得 0.551,再乘输出门 o = 0.5,得到 hₜ ≈ 0.2756

怎么算

(i, f, o, g) = (σ, σ, σ, tanh)(W (hₜ₋₁ ; xₜ)),cₜ = f ⊙ cₜ₋₁ + i ⊙ g,hₜ = o ⊙ tanh(cₜ)。

意思是:先用拼接向量算出四个门;旧记忆按 f 保留一部分,再加上按 i 放行的新内容,得到新 c;最后把新 c 过 tanh,按 o 露出一部分,得到新 h。

W 的形状是 4h × 2h:输入是 2h 维的拼接向量,输出 4h 个数切成四段。同维度的 vanilla RNN 的 W 是 h × 2h,LSTM 正好是它的 4 倍。

常见误解

把 c 和 h 当成一回事

c 是单元内部沿时间传的长期记忆,h 是每步对外的输出,也参与下一步算门。算的时候先 c 后 h,因为 h 要用新的 c。

把四个门的激活函数记混

开关要落在 0 到 1,用 sigmoid:f、i、o。写入内容要能取负值,用 tanh:g。

试一下

旧 c = 1,f = 0.5,i = 1,g = 0.3,o = 1,新的 c 和 h 是多少?

c = 0.5 × 1 + 1 × 0.3 = 0.8;h = 1 × tanh(0.8) ≈ 0.664。

3. 不间断的梯度流

它解决什么问题

LSTM 改结构的目的是让梯度传得更远。这一节看清楚:梯度沿 c 往回走时,每一步到底乘了什么。

直觉

c 的更新是 cₜ = f ⊙ cₜ₋₁ + i ⊙ g。对 cₜ₋₁ 求导,只剩 f。

所以梯度沿 c 往回走一步,只和 f 逐元素相乘。没有矩阵 W,也没有 tanh 导数。课件把这条路叫 Uninterrupted gradient flow。

f 是网络每一步根据输入算出来的,可以学着在需要记住的地方开到接近 1。

一步一步看

目标:让普通 RNN 的 h 和 LSTM 的 c 各往回走 10 步,看只乘门值的 c 多保住了多少梯度。

  1. 普通 RNN 的 h 往回走一步:乘 W_hhᵀ 和 diag(1 − h²)。

  2. LSTM 的 c 往回走一步:只乘 f。

  3. 走 10 步对比:

    两条反向路径对比:上方 c 通道每段只乘 f,f = 0.9 时 10 步剩 0.3487;下方普通 RNN 的 h 每段乘 W_hhᵀ 和 tanh 导数,每步 0.5 时 10 步剩 0.000977

  4. 两者差了三百多倍。差别来自 c 的反向只乘门值、不乘 W。

怎么算

∂cₜ/∂cₜ₋₁ = f(逐元素),往回走 k 步就是 f 连乘 k 次。

意思是:梯度沿 c 衰减多快,完全由遗忘门决定,不再被 W 的奇异值锁死。

常见误解

以为 LSTM 让梯度永不衰减

f 小于 1 时沿途照样缩小,只是缩多少由门决定。它缓解的是消失,爆炸照样可能发生,训练时仍常配合裁剪。

试一下

f 一直是 0.95,梯度沿 c 传 10 步还剩多少?

0.95¹⁰ ≈ 0.5987,剩六成左右。

4. 多层 RNN:把 RNN 往上叠

它解决什么问题

一层 RNN 只在时间上展开。想让网络学到更抽象的特征,可以像 CNN 叠卷积层一样,在深度方向也叠几层。

直觉

第 1 层照常读输入序列。第 2 层把第 1 层每一步的 h 当成自己的输入 x。再往上同理。

每一层有自己的 Wˡ,同一层内各时间步共用。层和层之间不共用。

一步一步看

目标:看多层 RNN 的每一格怎样把下一层的输出和本层上一时刻的状态拼起来,乘 Wˡ 后回到 n 维。

  1. 第 l 层第 t 步,要用两样东西:下一层同一时刻的输出 hₜˡ⁻¹,和本层上一时刻的状态 hₜ₋₁ˡ。

  2. 两个 n 维向量竖着拼成 2n 维。

  3. 乘 n × 2n 的 Wˡ,回到 n 维,再过 tanh。

    三层 RNN 网格:每层四个时间步 h1 到 h4,横向箭头是同层时间方向,纵向箭头把下一层的 h 送上去当输入;每层自带一个 n×2n 的 Wˡ

  4. LSTM 版同理,只是 Wˡ 变成 4n × 2n,切四段得四个门。

怎么算

hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),Wˡ 是 n × 2n。

意思是:每一层每一步都是一个普通 RNN 单元,只是它的「输入」换成了下面一层同一时刻的输出。

常见误解

以为多层 RNN 所有层共用一个 W

每层各有自己的 Wˡ。共享只发生在同一层的不同时间步之间。

试一下

隐藏维度 n = 64,三层 vanilla RNN,不计偏置一共多少权重?

每层 Wˡ 是 64 × 128 = 8192,三层共 3 × 8192 = 24576。

把它们串起来

上一页的结论是:普通 RNN 反向时每一步都乘同一个 W,梯度要么炸要么消,消失裁剪救不了。

LSTM 的办法是多加一条记忆通道 c。四个门都由拼接向量乘 4h × 2h 的 W 算出:f、i、o 过 sigmoid 当开关,g 过 tanh 当内容。新记忆是旧记忆乘 f 再加 i 乘 g,新输出是 o 乘 tanh(c)。

c 的更新只是「乘一个比例再加一项」,反向时梯度沿 c 只乘 f、不乘 W,不再被 W 的奇异值锁死。网络可以学着在需要记住的地方把 f 开到接近 1。

把这样的单元在深度方向叠起来,就是多层 RNN:每层自带一个 Wˡ,下一层的 h 当上一层的输入。

课件里的坑

  • [课件用词] LSTM 的 g 课件叫 Update gate,其他教材常叫 candidate 或 gate gate,考试按课件的叫法(p.83)。
  • [读图提醒] 课件的 LSTM 公式把 W 写成 4h×2h,同页多层 RNN 用 n 表示维度,两个字母指的是同一个隐藏维度(p.75、p.82)。
  • [课件留白] 课件只说 c 的反向「不乘 W」,没说 f 小于 1 时梯度照样衰减,LSTM 是缓解而非根除(p.85)。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟读必背 5 条,第 3 条要能默写公式;中间 4 分钟把四步记忆更新自己算一遍,再做课件例题;最后 3 分钟做变式题,体会 c 为什么能留住信息。

必背

  1. LSTM 把 hₜ₋₁ 和 xₜ 拼成 2h 维,乘 4h×2h 的 W,切成四段:i、f、o 过 sigmoid,g 过 tanh
  2. f 遗忘门决定擦多少,i 输入门决定写不写,g(课件称 Update gate)决定写什么,o 输出门决定露多少
  3. c = f ⊙ c + i ⊙ g,h = o ⊙ tanh(c),先算 c 再算 h
  4. c 的反向只和 f 逐元素相乘、不乘 W,梯度能流得更远,所以 LSTM 缓解梯度消失
  5. 多层 RNN:hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),下一层同一时刻的输出和本层上一时刻的状态拼成 2n 维,Wˡ 是 n×2n

课件例题

例 1(课件 p.75):多层 RNN 里,第 l 层第 t 步的状态由哪两样东西决定?W 是什么形状?

题面:hₜˡ = tanh Wˡ (hₜˡ⁻¹ ; hₜ₋₁ˡ),h ∈ ℝⁿ;同页 LSTM 版的 Wˡ 是 4n×2n。

提示

一个来自下面一层,一个来自本层的过去。

解答

一是下面一层同一时刻的输出 hₜˡ⁻¹,二是本层上一时刻的状态 hₜ₋₁ˡ。两个 n 维向量竖着拼成 2n 维,乘 n×2n 的 Wˡ 回到 n 维。LSTM 版乘 4n×2n 得 4n 个数,切成四段得 i、f、o、g。

例 2(课件 p.82–83):LSTM 四个门各管什么?为什么激活函数不一样?

题面:x 和 h 拼成 2h 维,乘 4h×2h 的 W,切四段得 i、f、o、g。

提示

哪几个是开关,哪个是内容?

解答

f 决定是否擦除 cell,i 决定是否写入,g(课件称 Update gate)决定写入多少,o 决定把 cell 露出多少。i、f、o 是开关,用 sigmoid 落在 (0,1);g 是要写进去的内容,用 tanh 允许正负。

例 3(课件 p.84–86):从 cₜ 反向到 cₜ₋₁ 要乘什么?和 vanilla RNN 比有什么不同?

题面:cₜ = f ⊙ cₜ₋₁ + i ⊙ g;课件称这条路为 Uninterrupted gradient flow。

提示

对 cₜ₋₁ 求导,看哪一项留下来。

解答

只和 f 逐元素相乘,没有矩阵乘 W;vanilla RNN 每退一步都要乘一次 W_hhᵀ 和 tanh 导数。f 由网络每步根据输入算出,可以学着在需要长期记忆的地方开到接近 1。f 小于 1 时梯度仍会缩小,所以是缓解而非根除。

完整例题

题面(自编情境):(a) LSTM 单步:c 的旧值 0.8,f = 0.9,i = 0.2,g = −0.5,o = 0.5,求新的 c 和 h。(b) 若 f 一直是 0.9,梯度沿 c 往回传 10 步还剩多少?标量 vanilla RNN 每步乘 0.5、传 10 步呢?

解法:

  1. 新的 c = f × 旧 c + i × g = 0.9 × 0.8 + 0.2 × (−0.5) = 0.72 − 0.10 = 0.62。
  2. 新的 h = o × tanh(c) = 0.5 × tanh(0.62) ≈ 0.5 × 0.551 ≈ 0.2756。
  3. 沿 c 传 10 步:每步只乘 f,0.9¹⁰ ≈ 0.3487。
  4. vanilla 传 10 步:0.5¹⁰ ≈ 0.000977。

要点:(a) 里 f = 0.9 让旧记忆的九成原样留下,i 很小所以新内容只写进一点,旧 c 只被 f 按比例缩放,没有被矩阵整体改写。(b) 里两者差了三百多倍,差别来自 c 的反向只乘门值、不乘 W。

答题格式:每一步写出代入后的完整式子再给数值,LSTM 的两步分开写,先 c 后 h,因为 h 要用新 c。

变式题(先自己做)

自编情境:

(a) LSTM 单步:旧 c = 0.5,f = 0.6,i = 1,g = 0.4,o = 1,求新的 c 和 h。 (b) 若 f 一直保持 0.6,梯度沿 c 往回传 5 步还剩原来的几分之几?和标量 vanilla RNN 每步乘 0.5、传 5 步相比如何? (c) 隐藏维度 h = 50,按课件 W 为 4h×2h,LSTM 不计偏置有多少权重?同维度 vanilla RNN 呢?

提示

(a) 先算 c,再算 h,h 用的是新 c。(b) 沿 c 反向每步只乘 f,连乘 5 次即可。(c) vanilla 的 W 按 p.75 是 h×2h。

判分点与答案(非官方评分标准)

判分点:① c 和 h 的先后顺序;② (b) 是否用 f 的幂而不是 W;③ (c) 是否写出矩阵形状再相乘。

(a) c = 0.6 × 0.5 + 1 × 0.4 = 0.7;h = 1 × tanh(0.7) ≈ 0.6044。

(b) 0.6⁵ ≈ 0.0778;vanilla 每步 0.5 时 0.5⁵ = 0.03125。LSTM 剩得更多,而且 f 可以被网络学到更接近 1,例如 0.95 时传 10 步还剩约 0.5987。

(c) LSTM:W 为 200×100,共 20,000 个权重;vanilla:W 为 50×100,共 5,000 个。LSTM 是 4 倍,对应四个门各一份。

闪卡自测

1. LSTM 四个门各是什么、用什么激活?

f 遗忘、i 输入、o 输出三个用 sigmoid;g(课件称 Update gate)用 tanh(p.83)。

2. 写出 LSTM 的记忆更新和输出公式。

c = f ⊙ c + i ⊙ g,h = o ⊙ tanh(c)(p.82)。

3. LSTM 的 W 是什么形状?为什么?

4h×2h:输入是 h 和 x 拼成的 2h 维,输出切成四个门各 h 维(p.82)。

4. 为什么 LSTM 能缓解梯度消失?

c 的反向只和 f 逐元素相乘、没有矩阵乘 W,梯度沿 c 不再被 W 的奇异值连乘压没(p.85、p.86)。

5. 多层 RNN 的 Wˡ 为什么是 n×2n?

输入是下一层同一时刻的输出和本层上一时刻的状态,两个 n 维拼成 2n 维,输出回到 n 维(p.75)。

下一讲

神经网络部分到这里结束,下一讲转向 Intelligent/Expert Systems,内容不衔接。期中考前回来把 L07a-3 的尺寸参数题和本页两道 LSTM 计算各做一遍。

下一页是 L08a:专家系统。

上一页是 L07b-2:梯度爆炸与消失。

下一讲 →
L08a L08a 专家系统:把专家的经验写成规则,让外行也能用

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。