← COMP5541 全部讲次
L05b · 第 7 周

L05b 梯度消失与 ReLU:为什么网络深了反而学不动

从链式法则是一串乘法讲起,看 sigmoid 怎么让梯度层层缩小,ReLU 怎么救回来又带出死神经元,Leaky ReLU 再怎么补上。

一句话版

反向传播算前面层的梯度时,要沿路乘上每一层激活函数的导数。sigmoid 的导数最大只有 0.25,层数一多,梯度越乘越小,前面的层几乎学不动。这叫梯度消失。

换成 ReLU,导数只取 0 或 1,梯度能原样传回。代价是有的单元会「死」掉,于是再换成 Leaky ReLU。

上一页讲了怎么用梯度走得省、走得顺。这一页讲梯度本身在路上丢了怎么办,对应课件三类问题里的「欠拟合」。

先认识这几个词

词 全称 / 读法 一句人话
链式法则 chain rule 复合函数求导时,把每一层的导数乘起来
激活函数 activation function 隐藏单元对加权和 s 做的那一步非线性变换
sigmoid σ 读「西格莫伊德」 把任意数压到 0 和 1 之间的 S 形函数
梯度消失 gradient vanishing 梯度往前传时越乘越小,前面的层学不动
ReLU Rectified Linear Unit,读「瑞路」 负数变 0、正数原样输出的激活函数
死神经元 dead neuron 输出恒为 0、梯度也传不过去的 ReLU 单元
Leaky ReLU 带泄漏的 ReLU 负数段留一条很平的斜线,不完全归零

一个类比:传话游戏

一排人传一句话,每个人只能把听到的音量的一小部分传给下一个。传到第三四个人,后面的人已经几乎听不见了。

sigmoid 就是那个只肯传四分之一音量的人。网络越深,排的人越多,最前面的层收到的「该怎么改」的信号就越弱。

ReLU 像一个要么原样转述、要么干脆不说话的人。原样转述时信号不丢;可一旦他沉默,经过他的那条线就断了。

Leaky ReLU 让沉默的人也小声说一点,信号弱,但没断。

类比在哪里失效:

  • 传话是一条线,网络里同一个权重的梯度往往是好几条路径之和,一条断了别的还在。
  • 梯度变小不一定是坏事。真正的问题是前面的层和后面的层差了好几个数量级,学习速度严重失衡。

从零讲起

1. 先补一块:链式法则是一串乘法(补充)

它解决什么问题

上一讲用反向传播求出了网络里 10 个权重的梯度。要看懂梯度消失,得先看清这些式子长什么样:越靠前的权重,梯度式里乘的因子越多。

直觉

改动第一层的一个权重 w₁,影响要一层一层传到输出:w₁ 先改变 s₁,s₁ 改变 h₁,h₁ 又通过 w₅ 改变 s₃……最后改变 y 和损失 ℓ。

每经过一个环节,就乘上这个环节的「放大倍数」,也就是它的导数。倍数都小于 1,乘得越多,结果越小。

一步一步看

目标:沿 dℓ/dw₁ 经过 h₃ 的路径从输出往回逐段求导,数出这串乘法里有几个激活导数。

上一讲的 2-2-2-1 网络:输入 x₁、x₂,第一隐藏层 h₁、h₂,第二隐藏层 h₃、h₄,输出 y。看 dℓ/dw₁ 经过 h₃ 的那条路径,从输出往回走。

  1. 损失对 y 求导,得到 2(y − ȳ)。

  2. y 对 h₃ 求导,得到连线权重 w₉。

  3. h₃ 对 s₃ 求导,得到激活函数的导数 dh₃/ds₃。

  4. s₃ 对 h₁ 求导,得到 w₅;h₁ 对 s₁ 求导,得到 dh₁/ds₁。

  5. s₁ 对 w₁ 求导,得到输入 x₁。把这一串乘起来,就是这条路径的贡献。

    环节 因子 是不是激活导数
    ℓ → y 2(y − ȳ) 否
    y → h₃ w₉ 否
    h₃ → s₃ dh₃/ds₃ 是
    s₃ → h₁ w₅ 否
    h₁ → s₁ dh₁/ds₁ 是
    s₁ → w₁ x₁ 否

这条路径上有两个激活导数因子。输出层的 w₉、w₁₀ 一个都没有,第二隐藏层的 w₅ 到 w₈ 各有一个。

怎么算

dℓ/dw₁ 有两条路径,经 h₃ 和经 h₄:

dℓ/dw₁ = 2(y−ȳ)·1·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·1·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁

意思是:每条路径都是一串乘法,路径之间相加。式子里的 dh/ds 就是激活函数的导数,用 sigmoid 时它等于 σ(s)(1 − σ(s))。

常见误解

以为每个权重的梯度式里激活导数的个数一样

越靠前越多。输出层 w₉、w₁₀ 是 0 个,第二隐藏层 w₅ 到 w₈ 是 1 个,第一隐藏层 w₁ 到 w₄ 每条路径 2 个。梯度消失伤的正是前面这些层。

试一下

写出 dℓ/dw₅ 的链式乘积。它里面有几个激活导数因子?

w₅ 连的是 h₁ 到 h₃,只走一条路径:dℓ/dw₅ = 2(y−ȳ)·w₉·(dh₃/ds₃)·h₁。只有 dh₃/ds₃ 一个激活导数因子。

2. 梯度消失

它解决什么问题

网络加深以后,训练误差也降不下来,模型表现得像欠拟合。课件列了欠拟合的三个原因:层太少、神经元太少、激活函数不好。前两个是模型太简单;第三个就是梯度消失,网络够大也会学不动。

从哪来(补充)

Sepp Hochreiter 1991 年的毕业论文正式指出了这个问题。

出处:Wikipedia: Vanishing gradient problem

直觉

sigmoid 的导数像一座小山包,最高处在 s = 0,只有 0.25。s 稍微离开 0,它就迅速趴下去。

链式法则每往前一层,就多乘一个这样的数。每次最多剩四分之一,几层下来就所剩无几了。

一步一步看

目标:先看 sigmoid 导数最大只有 0.25,再连乘多层并代入例子,看前后两层的梯度怎样差出约 19 倍。

  1. 先看 sigmoid 导数的形状:s = 0 时最大 0.25,σ′(2) ≈ 0.105,σ′(5) ≈ 0.0066。

    sigmoid 导数是一条钟形曲线,在 s = 0 处最高为 0.25,用青绿虚线标出;s = 2 约 0.105,s = 5 约 0.0066

  2. 就算每层都取到最大值 0.25,隔 n 层也要乘 n 次。n = 2 剩 0.0625,n = 4 约 0.0039,n = 10 约 9.5×10⁻⁷。

    四根柱子按同一比例画出 0.25 的 1、2、4、10 次方,最后一根细得几乎看不见

  3. 代入上一讲的数值例子:x = (1, 0.5),目标 ȳ = 1。输出层 dℓ/dw₁₀ = −1.5262,第一层 dℓ/dw₁ = −0.0784。

  4. 两者相除约 19 倍。这个网络只有两个隐藏层,前后两层的学习速度已经差了一个数量级。

怎么算

sigmoid 的导数:

σ′(s) = σ(s)·(1 − σ(s))

意思是:导数等于函数值乘「1 减函数值」。σ(s) 在 0 和 1 之间,两个加起来等于 1 的数相乘,最大是 0.5 × 0.5 = 0.25,在 σ(s) = 0.5(也就是 s = 0)时取到。

只看激活导数因子,隔 n 层的上限是:

上限 = 0.25ⁿ

意思是:每多一层就再乘一个不超过 0.25 的数,梯度按指数缩小。这就是课件说的「隐藏层用 sigmoid 很可能导致梯度消失」。

常见误解

以为欠拟合只可能是模型太小

课件并列了三个原因,第三个是激活函数不好。网络层数、神经元都够,前面层的梯度太小、参数几乎不动,模型照样训练不起来。

以为 0.25ⁿ 是梯度的准确值

它只是激活导数因子的上限。真实梯度还要乘权重和输入,也可能有多条路径相加。上限说明的是趋势:层数一多,前面的层注定吃亏。

试一下

一个网络有 3 个 sigmoid 隐藏层。只看激活导数因子,第一层权重的梯度最多剩多少倍?

0.25³ = 0.015625,不到原来的 1/64。

3. ReLU 与死神经元

它解决什么问题

既然问题出在 sigmoid 的导数太小,就换一个导数不缩水的激活函数。ReLU 的导数只取 0 或 1,取 1 时梯度原样传回。

从哪来(补充)

Kunihiko Fukushima 1969 年在视觉特征提取的工作里就用过这种函数。Nair 和 Hinton 2010 年把它用在受限玻尔兹曼机上;Glorot、Bordes、Bengio 2011 年发现深层 ReLU 网络不靠预训练也能训练好,之后它成了深度网络的常用激活函数。条目还提到,ReLU 受梯度消失影响小,是因为它只在一个方向上饱和。

出处:Wikipedia: Rectified linear unit

直觉

ReLU 是一个开关:s 为正就原样放行,s 为负就输出 0。放行时导数是 1,梯度一点不打折;关上时导数是 0,梯度全部挡住。

挡住的那一刻,问题来了。一个单元的 s 为负,它的输出和导数都是 0,经过它的所有路径梯度都是 0,它的入边权重得不到更新。如果对所有样本都这样,它就一直关着,这就是死神经元。

一步一步看

目标:把同一网络的隐藏单元换成 ReLU 再算前向和反向,看 h₃ 输出 0 时它的梯度全断,其余梯度同一量级。

还是上一讲的网络、同一组输入和权重,只把四个隐藏单元换成 ReLU。

  1. 前向先算加权和:s₁ = 0.25,s₂ = 0.7,s₃ = −0.45,s₄ = 0.475。

    2-2-2-1 网络,四个隐藏单元的加权和依次是 0.25、0.7、−0.45、0.475

  2. 过 ReLU:s₃ 为负,h₃ = 0;其余原样输出。输出 y = −0.475,离目标 1 很远,损失 ℓ = 2.1756。

    过 ReLU 后 h₃ 输出 0,用青绿圈出;其余单元输出等于加权和,输出 y 为 −0.475

  3. 反向:h₃ 的导数是 0,经过它的 dℓ/dw₅、dℓ/dw₆、dℓ/dw₉ 全为 0。h₃ 这次学不动。

    h₃ 的两条入边和一条出边画成青绿虚线,它们的梯度全部为 0

  4. 另一条路还通:dℓ/dw₁ = 1.475,dℓ/dw₁₀ = −1.4013。第一层和输出层的梯度同一量级,sigmoid 时的 19 倍差距没了。

怎么算

ReLU 和它的导数:

ReLU(s) = max(0, s)

dReLU/ds = 1(s > 0 时),0(s < 0 时)

意思是:正数段斜率 1,负数段斜率 0。课件把导数写成 max(0, s)/s,s 为正时等于 1,s 为负时等于 0。

dℓ/dw₁ 的展开式和 sigmoid 版结构一样,只把 σ′ 换成 ReLU 的导数:

dℓ/dw₁ = 2(y−ȳ)·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁

意思是:上例中 dh₃/ds₃ = 0,第一条路径整条归零,梯度全靠经 h₄ 的第二条路径传回。

常见误解

以为 ReLU 只有正数部分,所以是线性函数

ReLU 在 0 处拐了一个弯,整体不是一条直线。正是这个拐点给网络带来非线性,本讲最后一页会看到它怎么拼出复杂的折线。

以为一次 s 为负,这个单元就永久死了

一个样本让 s 为负,只是这个样本上梯度为 0。换一个样本 s 可能为正,单元还会更新。对所有样本 s 都为负,它才真的死了。条目补充说,学习率设得太高是死 ReLU 常见的诱因。

试一下

某 ReLU 单元的加权和 s = 1.2,它的输出和导数是多少?如果 s = −0.3 呢?

s = 1.2:输出 1.2,导数 1。s = −0.3:输出 0,导数 0,这个样本上经过它的梯度全部为 0。

4. Leaky ReLU

它解决什么问题

ReLU 的负数段导数是 0,单元一旦关上就可能再也学不动。Leaky ReLU 给负数段留一条很平的斜线,导数是一个小数 a,梯度不会完全断掉。

从哪来(补充)

Leaky ReLU 由 Andrew Maas、Awni Hannun、Andrew Ng 提出。

出处:Wikipedia: Rectified linear unit

直觉

把 ReLU 的开关换成一个关不严的水龙头。正数段照常放行;负数段只漏一点点,漏的比例就是 a。课件取 a = 0.02。

一步一步看

目标:同一例子换成 Leaky ReLU,看 h₃ 负数段留一点斜率后,原来为 0 的三个梯度变小但不再为 0。

  1. 先把三个激活函数放在一起比:sigmoid 是 S 形,ReLU 负数段贴着 0,Leaky ReLU 负数段是一条很平的斜线。

    三个小图并排:sigmoid 的 S 形曲线、ReLU 的折线、Leaky ReLU 负数段带一条青绿的小斜线,各自标出导数取值

  2. 同一个例子换成 Leaky ReLU:h₃ = 0.02 × (−0.45) = −0.009,不再是 0。

  3. 输出变成 y = −0.484,损失约 2.2023。

  4. 原来为 0 的三个梯度变成 dℓ/dw₅ ≈ −0.0148、dℓ/dw₆ ≈ −0.0416、dℓ/dw₉ ≈ 0.0267。很小,但 h₃ 的入边权重会被更新。

    换成 Leaky ReLU 后 h₃ 输出 −0.009,用青绿圈出,输出 y 为 −0.484,h₃ 相关的三个梯度不再为 0

怎么算

Leaky ReLU 和它的导数:

f(s) = s(s > 0 时),a·s(s < 0 时)

df/ds = 1(s > 0 时),a(s < 0 时)

意思是:负数段斜率从 0 改成 a。课件把 dh₃/ds₃ 写成 a·min(0, s₃)/s₃ + max(0, s₃)/s₃,代入正负两种情况就是上面两行。dℓ/dw₁ 的展开式和 ReLU 版一字不差。

三种激活函数的导数要一起记:sigmoid 是 σ(1 − σ)、最大 0.25;ReLU 是 {0, 1};Leaky ReLU 是 {a, 1}。

常见误解

以为 a 越大越好,反正梯度更大

a 取到 1,负数段和正数段斜率一样,函数就成了一条直线,网络失去非线性。a 要小,课件取 0.02,只求负区留一点梯度。

试一下

把 a 改成 0.1,同一个 s₃ = −0.45,h₃ 和 dh₃/ds₃ 各是多少?

h₃ = 0.1 × (−0.45) = −0.045,dh₃/ds₃ = 0.1。

把它们串起来

反向传播求前面层的梯度,是沿路乘上每个环节的导数。激活函数的导数是其中一类因子,越靠前的权重乘得越多。

sigmoid 的导数最大 0.25,层层相乘,前面层的梯度按指数缩小。这就是梯度消失,它让网络表现得像欠拟合。

换成 ReLU,导数取 1 时梯度原样传回,前后层的梯度回到同一量级。但导数取 0 时整条路径断掉,可能出现死神经元。Leaky ReLU 让负数段保留斜率 a,路径不再完全断开。

三次替换里,dℓ/dw₁ 的展开式结构从没变过,变的只是 dh/ds 这一个因子。下一页换个地方改:不动激活函数,改损失函数,用来对付过拟合。

课件里的坑

  • [读图提醒] p.16 把 ReLU 导数写成 max(0, s)/s,s = 0 时是 0/0,没有定义。实现中通常把 s = 0 处的导数取 0
  • [读图提醒] p.15 的结论用词是 is likely to(很可能)导致梯度消失,不是「一定」。0.25ⁿ 只是激活导数因子的上限
  • [口径差异] 欠拟合在前几讲指模型太简单;这一讲 p.15 把「激活函数不好」也列为原因,指的是梯度消失让模型训练不起来
  • [记号] p.17 课件 a = 0.02 是举例取值,题目给别的 a 就按题目算

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三种激活函数的导数;再写出 dℓ/dw₁ 的两条路径,圈出激活导数因子;然后用 s₃ = −0.45 说出 ReLU 和 Leaky ReLU 下 h₃ 各输出多少;最后回查「欠拟合三个原因」。

必背

  1. sigmoid 导数最大 0.25,层层相乘导致梯度消失;ReLU 导数 {0, 1},Leaky ReLU 导数 {a, 1}。
  2. 欠拟合的三个原因:层太少、神经元太少、激活函数不好;第三个就是梯度消失。
  3. 只看 sigmoid 导数因子,隔 n 层梯度上限是 0.25ⁿ,层数一多前面层学不动。
  4. ReLU 导数为 1 时梯度原样传回,缓解梯度消失;代价是 s < 0 时出现死神经元。
  5. Leaky ReLU 负区斜率为 a(课件 a = 0.02),死掉的单元仍有小梯度、能慢慢恢复。
  6. 换激活函数只改 dℓ/dw 里的激活导数因子,展开式结构不变。

课件例题

例 2(课件 p.15):在 10 个梯度式里数 sigmoid 导数

题面:上一讲 10 个梯度式里,把 sigmoid 导数因子 σ(s)(1−σ(s)) 圈出来。数一数每个梯度有几个这样的因子,并解释为什么隐藏层用 sigmoid 容易梯度消失。

提示

按层分三组数:输出层 w₉、w₁₀,第二隐藏层 w₅ 到 w₈,第一隐藏层 w₁ 到 w₄。再想 σ′ 最大是多少。

解答
  1. dℓ/dw₅ 到 dℓ/dw₈ 每项一个因子,σ′(s₃) 或 σ′(s₄)。dℓ/dw₁ 到 dℓ/dw₄ 每条路径两个,再多乘 σ′(s₁) 或 σ′(s₂)。输出层 w₉、w₁₀ 没有。
  2. σ′(s) 最大 0.25,在 s = 0 处取到,|s| 一大就迅速变小。n 层的上限是 0.25ⁿ,n = 2 为 0.0625。
  3. 用上一讲的数值例子:dℓ/dw₁₀ = −1.5262,dℓ/dw₁ = −0.0784,只有约 1/19。只隔两层就差一个数量级,前面的层学不动,表现为欠拟合。

例 3(课件 p.16):换成 ReLU,重写 dℓ/dw₁

题面:四个隐藏单元从 sigmoid 换成 ReLU(s) = max(0, s),其余不变。写出 dℓ/dw₁,并说明 ReLU 的好处和代价。

提示

展开式的结构不用重推,只换 dh/ds。想想 dh/ds 能取哪几个值,各对应什么后果。

解答
  1. 结构和原来一样,只把 σ′ 换成 ReLU 的导数:dℓ/dw₁ = 2(y−ȳ)·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁。
  2. dh/ds 只取 0 或 1:s > 0 时为 1,s < 0 时为 0。为 1 时梯度原样传回,不再逐层缩小。
  3. 代价是死神经元:某单元 s < 0 时输出和导数都是 0,经过它的梯度全为 0。
  4. 用上一讲的数值验算:s₃ = −0.45,h₃ 死了,dℓ/dw₅、dℓ/dw₆、dℓ/dw₉ 全为 0;dℓ/dw₁ = 1.475,dℓ/dw₁₀ = −1.4013,两者同一量级。

例 4(课件 p.17):换成 Leaky ReLU

题面:负半轴斜率改成 a,课件取 a = 0.02。dh₃/ds₃ 怎么写?死神经元还会死吗?

提示

只改负数段:原来负数段导数是 0,现在是多少?

解答
  1. dh/ds 取 a 或 1:s < 0 时为 a,s > 0 时为 1。dℓ/dw₁ 的展开式和 ReLU 版一字不差。
  2. 负区梯度是小数 a,单元还能慢慢恢复。
  3. 数值验算:h₃ = 0.02 × (−0.45) = −0.009,y = −0.484。原来为 0 的三个梯度变成约 −0.0148、−0.0416、0.0267,很小但不是 0。

完整例题

题面(课件 p.16–17 的网络,数值沿用上一讲):2-2-2-1 网络,四个隐藏单元换成 ReLU。已知 x₁ = 1,ȳ = 1,第一隐藏层输出 h₁ = 0.25、h₂ = 0.7;第二层权重 w₅ = 1.0、w₆ = −1.0(连到 h₃),w₇ = 0.5、w₈ = 0.5(连到 h₄);输出层 w₉ = 1.0、w₁₀ = −1.0,y = w₉h₃ + w₁₀h₄,损失 ℓ = (y − ȳ)²。(a) 求 h₃、h₄、y、ℓ。(b) 求 dℓ/dw₉、dℓ/dw₁₀、dℓ/dw₁。(c) 换成 a = 0.02 的 Leaky ReLU,重求 h₃、y 和 dℓ/dw₉。

解法:

  1. (a) s₃ = 1.0×0.25 − 1.0×0.7 = −0.45,ReLU 后 h₃ = 0。s₄ = 0.5×0.25 + 0.5×0.7 = 0.475,h₄ = 0.475。
  2. y = 1.0×0 + (−1.0)×0.475 = −0.475,ℓ = (−0.475 − 1)² = 1.475² ≈ 2.1756。
  3. (b) 先算公共因子 2(y − ȳ) = 2×(−1.475) = −2.95。
  4. dℓ/dw₉ = −2.95 × h₃ = 0。dℓ/dw₁₀ = −2.95 × 0.475 ≈ −1.4013。
  5. dℓ/dw₁:经 h₃ 的路径有 dh₃/ds₃ = 0,整条为 0;经 h₄ 的路径 = −2.95 × w₁₀ × 1 × w₇ × 1 × x₁ = −2.95 × (−1.0) × 0.5 × 1 = 1.475。
  6. (c) h₃ = 0.02×(−0.45) = −0.009,y = 1.0×(−0.009) − 0.475 = −0.484。2(y − ȳ) = −2.968,dℓ/dw₉ = −2.968 × (−0.009) ≈ 0.0267。

要点:ReLU 下 dℓ/dw₁ = 1.475,和 dℓ/dw₁₀ 同一量级,sigmoid 时只有约 1/19。代价是 h₃ 相关的梯度全为 0;Leaky ReLU 让它变成一个小的非零数。

答案:(a) h₃ = 0,h₄ = 0.475,y = −0.475,ℓ ≈ 2.1756;(b) 0、−1.4013、1.475;(c) h₃ = −0.009,y = −0.484,dℓ/dw₉ ≈ 0.0267。

答题格式:先列 s,再过激活写 h,再算 y 和 ℓ;反向时先写公共因子 2(y − ȳ),每个梯度写成「公共因子 × 路径上其余因子」。

变式题(先自己做)

(1) 自编情境:只看激活导数因子,一个网络有 4 个 sigmoid 隐藏层。第一层权重的梯度最多剩多少倍?换成全部 s > 0 的 ReLU 呢? (2) 自编情境:同完整例题的网络,但 w₅ = 2.0、w₆ = −0.5,其余不变,仍用 ReLU。求 s₃、h₃、y,并判断 h₃ 是否还是死神经元。 (3) 自编情境:用 a = 0.1 的 Leaky ReLU,某单元 s = −2,求输出和导数。

提示

(1) 0.25 的几次方;ReLU 在 s > 0 时导数是多少?(2) s₃ = w₅h₁ + w₆h₂,先看正负再过 ReLU。(3) 负数段斜率是 a。

判分点与答案(非官方评分标准)

判分点:① (1) 要写出 0.25ⁿ 的形式;② (2) 先判断 s₃ 正负再写 h₃;③ (3) 导数是 a 不是 0。

(1) 0.25⁴ ≈ 0.0039;ReLU 全部 s > 0 时每层导数为 1,激活导数因子的乘积是 1,不缩小。

(2) s₃ = 2.0×0.25 − 0.5×0.7 = 0.15,为正,h₃ = 0.15,不再是死神经元。y = 1.0×0.15 − 1.0×0.475 = −0.325。

(3) 输出 0.1×(−2) = −0.2,导数 0.1。

闪卡自测

1. 为什么 sigmoid 会导致梯度消失?标准答法是什么?

σ′ ≤ 0.25,链式法则中每层乘一次,层数一多梯度指数级衰减,前面层学不动(p.15)。

2. 6 个 sigmoid 隐藏层,只看 sigmoid 导数因子,第一层梯度最多被缩小到多少倍?

0.25⁶ ≈ 0.000244(p.15)。

3. 欠拟合的三个原因是什么?

层太少、神经元太少、激活函数不好(p.15)。

4. 什么是死神经元?怎么缓解?

ReLU 单元的输入 s < 0 时输出和导数都是 0,经过它的梯度全为 0,入边权重不更新;换成 Leaky ReLU,负区导数为 a(课件 a = 0.02)(p.16–17)。

5. ReLU 解决了什么问题,又带来什么问题?

导数为 1,梯度不再逐层缩小,缓解梯度消失;s < 0 时导数为 0,出现死神经元(p.16)。

6. 从 ReLU 换成 Leaky ReLU,dℓ/dw₁ 的展开式哪里变了?

展开式一字不差,只是 dh/ds 在负区的取值从 0 变成 a(p.17)。

下一讲

本讲下一页讲过拟合:在损失里加 L2、L1 惩罚,以及早停、dropout、数据增强。见 L05c。

下一讲 →
L05c L05c 正则化:L2、L1、早停和 dropout 怎么防过拟合

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。