← COMP5511 全部讲次
L07b-2 · 第 7 周

L07b-2 梯度爆炸与消失:同一个 W 乘太多次会怎样

从同一个数连乘讲起,看 RNN 反向传播为什么每退一步乘一次 W,最大奇异值怎样决定爆炸还是消失,以及梯度裁剪怎么做、为什么只治爆炸。

一句话版

RNN 反向传播时,梯度每往回走一步,就要乘一次同一个矩阵 W。走远了,不是越乘越大就是越乘越小。

越乘越大叫梯度爆炸,可以用裁剪压住。越乘越小叫梯度消失,裁剪救不了,只能改网络结构,下一页的 LSTM 就是这样来的。

前置:隐藏状态和展开图见上一页 L07b-1。

先认识这几个词

词 全称 / 读法 一句人话
梯度消失 vanishing gradient 梯度往回传时越乘越接近 0,早期的参数学不动
梯度爆炸 exploding gradient 梯度往回传时越乘越大,一步更新就把参数甩飞
W_hhᵀ 读「W h h 转置」 反向传播时乘的是 W_hh 的转置
奇异值 singular value 矩阵在某个方向上最多能把一组数放大几倍
范数 norm 一组数的长度,(3, 4) 的范数是 5
梯度裁剪 gradient clipping 梯度太长时按比例缩短,方向不变

一个类比:传话游戏

一排人玩传话。每个人听到上家的话,按自己的习惯转述给下家。所有人的习惯都一样:要么爱夸张一点,要么爱省略一点。

传到第十个人,爱夸张的版本已经离谱得没边,爱省略的版本几乎什么都不剩。RNN 反向传播就是这样一排人,每个人都用同一个 W 转述。

夸张过头的话还能补救:管它多离谱,按比例往回压到合理范围就行。省略光了的话就没法补救了,原话已经丢了。这就是裁剪只治爆炸的原因。

类比在哪里失效:

  • 矩阵有很多个方向,可能在一个方向夸张、另一个方向省略,传话里每个人只有一种习惯。
  • 梯度传完是要拿去更新参数的,传话的结果只是图一乐。

从零讲起

1. 先补一块:同一个数连乘(补充)

它解决什么问题

后面所有结论都建立在一件事上:同一个数反复乘自己,结果会怎样。先用标量看清楚,再推到矩阵。

直觉

大于 1 的数连乘,越乘越大,而且是指数级地大。小于 1 的数连乘,越乘越小,很快贴近 0。只有恰好等于 1 才保持不动。

差别不在于数离 1 有多远,在于乘的次数。0.9 看着离 1 很近,乘 20 次也只剩约 0.12。

一步一步看

目标:把 1.5 和 0.5 各连乘 2、4、10 次,看略大于 1 和略小于 1 的数连乘后差距有多大。

  1. 取两个数:1.5 和 0.5。

  2. 各乘 2 次:1.5² = 2.25,0.5² = 0.25。

  3. 各乘 4 次:1.5⁴ ≈ 5.06,0.5⁴ = 0.0625。

  4. 各乘 10 次:1.5¹⁰ ≈ 57.67,0.5¹⁰ ≈ 0.000977。两者差了五万多倍。

    同一个数连乘 10 次的对数坐标图:1.5 的幂一路涨到 57.67,0.5 的幂一路跌到 0.000977,横轴是连乘次数 k

怎么算

aᵏ:a > 1 时随 k 增大趋向无穷,a < 1 时趋向 0。

意思是:同一个因子乘 k 次,结果由「这个因子比 1 大还是小」决定,乘的次数越多,差别越极端。

常见误解

以为接近 1 的数连乘也差不多是 1

只要不是恰好 1,乘的次数够多就会偏离。0.9 乘 20 次只剩约 0.12。序列长几十、几百步时,这个效应非常明显。

试一下

0.8 连乘 10 次大约是多少?

0.8¹⁰ ≈ 0.107,剩一成左右。

2. 反向每退一步,乘一次 W

它解决什么问题

上一页说过:W 的梯度要从最后一步一路传回第 1 步。这一节看清楚每往回走一步,梯度具体被乘了什么。

直觉

先把公式整理一下。hₜ = tanh(W_hh hₜ₋₁ + W_xh xₜ) 里有两个矩阵,可以横着拼成一个大 W,同时把 hₜ₋₁ 和 xₜ 竖着拼成一个长向量。乘出来和原式一样,之后只需要讨论一个 W。

反向传播时,从 hₜ 退到 hₜ₋₁,要经过两样东西:tanh 的导数和 W_hh。所以每退一步,梯度乘一次 W_hhᵀ,再乘一个 tanh 导数。tanh 导数最大为 1,只会让梯度更小。

一步一步看

目标:从 h₄ 往回退到 h₀,看每退一步都乘一次 W_hhᵀ,再用标量例子看梯度三步后只剩约 0.044。

  1. 拼 W:tanh(W_hh hₜ₋₁ + W_xh xₜ) 写成 tanh(W (hₜ₋₁ ; xₜ)),W = (W_hh W_xh)。

  2. 从 h₄ 往回退到 h₃:乘一次 W_hhᵀ,再乘 diag(1 − h₄²)。

  3. 再退到 h₂、h₁、h₀,每一步都一样。

    梯度从 h4 一路回到 h0:每两个状态之间都标着 × W_hhᵀ 和 × diag(1−h²),一共乘 4 次同一个 W_hhᵀ

  4. 用上一页的标量例子验算(W_hh = 0.5,h₁ ≈ 0.7616,h₂ ≈ 0.3634,h₃ ≈ 0.1797),每一步的因子是 W_hh × (1 − h²):

    回退 tanh 导数 1 − h² 本步因子 累积
    h₃ → h₂ 1 − 0.1797² ≈ 0.968 0.5 × 0.968 ≈ 0.484 0.484
    h₂ → h₁ 1 − 0.3634² ≈ 0.868 0.5 × 0.868 ≈ 0.434 0.210
    h₁ → h₀ 1 − 0.7616² ≈ 0.420 0.5 × 0.420 ≈ 0.210 0.044
  5. 才退三步,梯度就只剩约 0.044,不到二十分之一。

怎么算

∂hₜ/∂hₜ₋₁ = diag(1 − hₜ²) · W_hh,梯度往回传一步就乘它的转置。

意思是:退 T 步就乘 T 次同一个 W_hhᵀ,每次还夹一个不超过 1 的 tanh 导数。

常见误解

以为每一步乘的是不同的矩阵

W_hh 是共享的,每一步乘的都是同一个 W_hhᵀ。正因为是同一个,偏大会一路偏大,偏小会一路偏小,不会互相抵消。tanh 导数各步不同,但都不超过 1。

试一下

序列长 50,从最后一步传回第一步,要乘几次 W_hhᵀ?

50 次,每次还夹一个 tanh 导数。

3. 爆炸还是消失:看最大奇异值

它解决什么问题

标量好判断,比 1 大还是小一眼就看出来。可 W 是矩阵,怎么说它「比 1 大」?课件给的判据是看 W 的最大奇异值。

从哪来(补充)

梯度消失问题最早由 Sepp Hochreiter 在 1991 年的毕业论文里正式分析。

出处:Wikipedia: Vanishing gradient problem

直觉

一个矩阵在不同方向上放大的倍数不一样。奇异值就是这些倍数,最大奇异值是它最多能放大几倍。

连乘很多次之后,放大最多的那个方向会压过一切。所以只看最大的那个:大于 1,至少有一个方向会炸开;小于 1,所有方向都在缩。

一步一步看

目标:把 diag(1.2, 0.8) 连乘 20 次,看同一个矩阵一个方向爆炸、一个方向消失,判据看最大奇异值。

拿最简单的对角矩阵 W = diag(1.2, 0.8),它的两个奇异值就是 1.2 和 0.8。

  1. 乘 1 次:第一个方向放大 1.2 倍,第二个方向缩到 0.8 倍。

  2. 连乘 20 次,两个方向分开看:

    方向 奇异值 乘 20 次 结果
    第一个 1.2 1.2²⁰ 约 38.3
    第二个 0.8 0.8²⁰ 约 0.0115
  3. 同一个矩阵,一个方向爆炸,另一个方向消失。最大奇异值 1.2 > 1,按课件的判据算爆炸。

  4. 如果改成 diag(0.9, 0.8),最大奇异值 0.9 < 1,所有方向都在缩,算消失。

怎么判断

看 W 的最大奇异值 σ_max:σ_max > 1 判爆炸,σ_max < 1 判消失。

小于 1 时一定消失,因为 tanh 导数只会让它更小。大于 1 时不一定真爆炸,tanh 导数可能把它压回来,所以课件的判据是经验判据。

常见误解

以为看所有奇异值的平均值

连乘之后起决定作用的是最大的那个。平均值是 1 的矩阵,照样可能在一个方向炸开。

试一下

W = diag(0.5, 1.5),按课件判据会爆炸还是消失?

最大奇异值 1.5 > 1,判爆炸。0.5 那个方向同时也在消失。

4. 梯度裁剪:方向不变,长度压到阈值

它解决什么问题

梯度爆炸时,一次更新就可能把参数改到离谱的地方,训练直接崩掉。需要一个简单的保险:梯度太长就缩短。

从哪来(补充)

用梯度裁剪对付梯度爆炸,出自 Pascanu、Mikolov、Bengio 2012 年的论文 On the difficulty of training Recurrent Neural Networks。

出处:Wikipedia: Vanishing gradient problem

直觉

先算梯度的长度,也就是范数。长度没超过阈值就不动。超过了,就整体乘一个缩放系数,让长度刚好等于阈值。

方向不变,所以参数还往同一个方向走,只是步子变小。

一步一步看

目标:把长度 5 的梯度按阈值 1 裁剪,看方向不变、长度压到 1,再对照课件代码漏开方的结果。

梯度 grad = (3, 4),阈值 threshold = 1。

  1. 算长度:√(3² + 4²) = √25 = 5。

  2. 判断:5 > 1,需要裁剪。

  3. 缩放系数:1 / 5 = 0.2。

  4. 裁剪后:(3 × 0.2, 4 × 0.2) = (0.6, 0.8),长度 1,方向不变。

    梯度裁剪示意:原梯度 (3, 4) 长度 5 超出虚线阈值圆,乘 1/5 后变成 (0.6, 0.8) 落在圆上;下方注明课件代码漏开方会除以 25,得到 (0.12, 0.16)

  5. 对照课件代码:np.sum(grad * grad) 得 25,没开根号,缩放系数变成 1 / 25,结果 (0.12, 0.16),长度只有 0.2。

怎么算

若 ‖g‖ > 阈值,则 g ← g × 阈值 / ‖g‖。

意思是:梯度 g 的长度超过阈值时,按「阈值除以当前长度」的比例整体缩小,缩完长度恰好等于阈值。‖g‖ 要开根号,课件代码漏了这一步。

常见误解

以为裁剪也能救梯度消失

消失时梯度已经接近 0,长度远小于阈值,裁剪根本不会触发。就算强行放大,接近 0 的数里也没有有用的信息。课件对消失给的办法是改网络结构。

试一下

grad = (6, 8),阈值 5,裁剪后是多少?

长度 √(36 + 64) = 10 > 5,乘 5 / 10 = 0.5,得 (3, 4),长度 5。

把它们串起来

同一个数连乘,大于 1 就涨上天,小于 1 就缩到底,乘的次数越多越极端。

RNN 的反向传播正好是连乘:每退一步乘一次同一个 W_hhᵀ,外加一个不超过 1 的 tanh 导数。序列有多长,就乘多少次。

矩阵在各方向放大倍数不同,起决定作用的是最大奇异值:大于 1 爆炸,小于 1 消失。

爆炸靠裁剪压住,方向不变只缩长度。消失裁剪救不了,梯度已经没了,只能换一个反向时不乘 W 的结构。下一页的 LSTM 做的就是这件事。

课件里的坑

  • ⚠️ 课件有误:梯度裁剪代码写 grad_norm = np.sum(grad * grad),算出的是范数的平方,没开根号。grad = (3, 4)、阈值 1 时,这段代码得 (0.12, 0.16),开根号后应是 (0.6, 0.8)(p.80)。
  • [读图提醒] 梯度流那页的推导里,输入矩阵第一行写 W_xh、第二行写 W_hx,指的是同一个矩阵,下标前后不一致(p.76)。
  • [读图提醒] 课件图上写「乘 W」,括注里说实际是 W_hhᵀ,答题时写转置(p.77)。
  • [课件留白] 「最大奇异值大于 1 爆炸」是经验判据:小于 1 时梯度一定消失,大于 1 时 tanh 导数还会再压一层,不一定爆炸(p.79)。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟读必背 5 条,能默写拼 W 的式子和裁剪公式;中间 4 分钟做课件例题和完整例题,把三步回退的因子表自己填一遍;最后 3 分钟做变式题。

必背

  1. RNN 的状态更新可以把 W_hh 和 W_xh 拼成一个 W:hₜ = tanh(W (hₜ₋₁ ; xₜ))
  2. 反向每退一步乘一次 W_hhᵀ 和 tanh 导数;从 h₄ 传回 h₀ 要乘 4 次同一个 W_hhᵀ
  3. W 的最大奇异值大于 1 梯度爆炸,小于 1 梯度消失
  4. 梯度裁剪:梯度范数超过阈值时按 阈值 / 范数 缩放,方向不变;课件代码漏了开根号
  5. 梯度裁剪只治爆炸;消失时梯度已接近 0,要改网络结构,也就是 LSTM

课件例题

例 1(课件 p.76):为什么可以把 W_hh 和输入矩阵拼成一个 W?

题面:tanh(W_hh hₜ₋₁ + W_xh xₜ) 改写成 tanh(W (hₜ₋₁ ; xₜ))。

提示

把分块矩阵乘向量展开写一遍。

解答

把两个矩阵横向拼成一个大 W,把 hₜ₋₁ 和 xₜ 竖向拼成一个长向量,分块矩阵乘法展开后与原式相同。拼完之后只需讨论一个矩阵。

例 2(课件 p.77–78):从 h₄ 把梯度传回 h₀,要乘几次 W?

题面:课件括注反向一步乘的实际是 W_hhᵀ。

提示

数一数 h₄ 到 h₀ 之间有几条边。

解答

4 次 W_hhᵀ,每次还夹一个 tanh 导数的对角矩阵;序列长 T 就是 T 次。tanh 导数最大为 1,只会让梯度更小。四个 W_hhᵀ 是同一个矩阵,偏大一路偏大,偏小一路偏小。

例 3(课件 p.79):什么条件下梯度爆炸?什么条件下消失?

题面:课件只看 W 的最大奇异值。

提示

想想为什么只看「最大」的那个。

解答

最大奇异值大于 1 爆炸,小于 1 消失。看「最大」是因为同一个矩阵可能在一个方向放大、另一个方向缩小,只要有一个方向放大就可能炸开。

例 4(课件 p.80):按课件的裁剪代码,grad = (3, 4)、threshold = 1 时结果是什么?对吗?

题面:grad_norm = np.sum(grad * grad);若 grad_norm > threshold,则 grad *= (threshold / grad_norm)。

提示

先按代码原样算,再算一次真正的长度。

解答

代码得 grad_norm = 25,缩放后 (0.12, 0.16),长度 0.2,不等于阈值。原因是没开根号,算的是范数平方。改成 np.sqrt(np.sum(grad * grad)) = 5,缩放后 (0.6, 0.8),长度恰为 1。

例 5(课件 p.81):梯度裁剪能不能救梯度消失?

题面:课件对消失给的方案是 Change RNN architecture。

提示

消失时梯度的长度和阈值比,谁大?

解答

不能。消失时梯度已经接近 0,按比例缩放还是接近 0。根源是每一步都乘同一个 W 和 tanh 导数,所以要设计一条每步不乘 W 的通道,这就是 LSTM 的 c。

完整例题

题面(自编情境):标量 vanilla RNN,W_hh = 0.5,W_xh = 1,h₀ = 0,输入 x = (1, 0, 0),已算得 h₁ ≈ 0.7616,h₂ ≈ 0.3634,h₃ ≈ 0.1797。(a) 从 h₃ 传回 h₀,∂h₃/∂h₀ 是多少?(b) 若 W_hh 换成 1.5、不考虑 tanh 导数,传 10 步放大多少倍?换成 0.5 呢?

解法:

  1. h₃ → h₂ 的因子:0.5 × (1 − 0.1797²) = 0.5 × 0.968 ≈ 0.484。
  2. h₂ → h₁ 的因子:0.5 × (1 − 0.3634²) = 0.5 × 0.868 ≈ 0.434。
  3. h₁ → h₀ 的因子:0.5 × (1 − 0.7616²) = 0.5 × 0.420 ≈ 0.210。
  4. 相乘:0.484 × 0.434 × 0.210 ≈ 0.044。
  5. (b):1.5¹⁰ ≈ 57.67,爆炸;0.5¹⁰ ≈ 0.000977,消失。

要点:(a) 只退三步就剩不到二十分之一,每一步都乘了同一个 0.5,tanh 导数又各压了一层。(b) 是纯连乘,因子大于 1 还是小于 1 决定了方向。

答题格式:每一步写出 W_hh × (1 − h²) 的代入式,再写累积乘积;不要只给最后一个数。

变式题(先自己做)

(a) 标量 RNN,W_hh = 0.8,不考虑 tanh 导数,梯度往回传 10 步剩多少? (b) W = diag(1.1, 0.5),按课件判据会爆炸还是消失?各方向连乘 10 次大约是多少? (c) grad = (5, 12),阈值 2,正确的裁剪结果是什么?按课件代码会得到什么?

提示

(a) 直接连乘。(b) 对角矩阵的奇异值就是对角线上的数。(c) 先算 √(5² + 12²)。

判分点与答案(非官方评分标准)

判分点:① (b) 用最大奇异值下结论;② (c) 长度要开根号;③ (c) 说出课件代码少了哪一步。

(a) 0.8¹⁰ ≈ 0.107。

(b) 最大奇异值 1.1 > 1,判爆炸。1.1¹⁰ ≈ 2.59,0.5¹⁰ ≈ 0.000977。

(c) 长度 √(25 + 144) = 13 > 2,乘 2 / 13,得约 (0.769, 1.846),长度 2。课件代码算出 169,乘 2 / 169,得约 (0.059, 0.142),长度只有约 0.154。

闪卡自测

1. 从 hₜ 反向到 hₜ₋₁,梯度要乘什么?

乘 W,课件括注实际是 W_hhᵀ,另外还有 tanh 的导数(p.77、p.78)。

2. 什么条件下梯度爆炸?什么条件下消失?

W 的最大奇异值大于 1 爆炸,小于 1 消失(p.79)。

3. 梯度裁剪怎么做?课件代码哪里有问题?

范数超过阈值时乘 阈值 / 范数;课件代码 np.sum(grad * grad) 是范数平方,应先开根号(p.80)。

4. 梯度消失该怎么办?

裁剪救不了,要改网络结构,例如 LSTM(p.81)。

5. 为什么能把 W_hh 和 W_xh 拼成一个 W?

分块矩阵乘法:W 横拼,(hₜ₋₁ ; xₜ) 竖拼,展开与原式相同(p.76)。

下一讲

L07b-3 讲 LSTM:多加一条记忆通道 c,反向时只和遗忘门逐元素相乘、不乘 W,梯度就能传得更远。去之前把本页的三步回退表再填一遍,记住每一步都乘了同一个 W。

上一讲是 L07b-1:序列结构、RNN 递推、seq2seq 与看图说话。

下一讲 →
L07b-3 L07b-3 LSTM:给记忆留一条不被反复改写的通道

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。