← COMP5541 全部讲次
L04d · 第 6 周

L04d 反向传播:把误差从输出一层层送回每个权重

从损失出发往回走,一帧一帧算出示例网络 10 个权重的梯度;再到不全连接的网络里找路径;最后把反向传播放回梯度下降,看一次训练迭代完整长什么样。

一句话版

反向传播(BP)就是按一个聪明的顺序用链式法则:从损失出发往回走,每到一个加权和就算出「损失对它的导数」(累积误差),再往前传时乘一个权重、乘一个 σ′。任一权重的梯度,等于它下游那个累积误差乘它上游的激活。

上一页 L04c 准备好了链式法则和全部局部导数。这一页把它们拼起来。

先认识这几个词

词 全称 / 读法 一句人话
反向传播 backpropagation,缩写 BP 从输出往回逐层求梯度的计算顺序
原始误差 2(y − ȳ) 损失对输出 y 的导数,所有梯度都从它开始
累积误差 本页记作 δ,读「德尔塔」 损失对某个加权和 s 的导数
上游 / 下游 upstream / downstream 靠近输入的一侧叫上游,靠近损失的一侧叫下游
路径 path 从一个权重顺着箭头走到损失的一条路线
全连接 fully connected 相邻两层每一对神经元之间都有连线
迭代 iteration 前向、反向、更新各做一次,算一轮

一个类比:流水线上追查旋钮

一条三道工序的流水线,最后出来的成品尺寸偏了。每台机器上都有旋钮,你想知道每个旋钮该往哪拧、拧多少。

做法是从成品往回查。先量出成品偏了多少。最后一道工序把偏差放大了几倍,倒数第二道又放大了几倍,一路乘回去,就知道最前面那个旋钮对成品的影响。

如果某台机器的半成品同时送到两条下游线,两条线的影响要加在一起。

聪明的地方在于:查到倒数第二道时算出的那个「偏差 × 放大倍数」,查更前面的旋钮时直接接着用,不用从成品重新算起。

类比在哪里失效:

  1. 工厂每道工序的放大倍数大致固定。网络里每一步的放大倍数(σ′)随输入变化,换一个样本就要重算。
  2. 工厂里通常一次只拧一个旋钮。网络是先用同一份旧参数算出全部方向,再一起拧。

从零讲起

1. 从损失往回,逐个权重求梯度

它解决什么问题

示例网络有 10 个权重,每个都要一个梯度。如果每个权重都从损失开始,沿链式法则独立推一遍,前面几段乘积会被重复算很多次。BP 规定一个顺序:从后往前,每个中间结果只算一次,往前传时接着用。

直觉

站在损失那头往回看。损失对 y 的导数是 2(y − ȳ),这是起点。

往回走一层,到 s₃:损失对 s₃ 的导数 = 2(y − ȳ) × w₉ × σ′(s₃)。这个数叫 s₃ 处的累积误差,记作 δ₃。它已经把「从 s₃ 到损失」这一整段都包进去了。

所以 w₅ 的梯度不用从头算:w₅ 只影响 s₃,dℓ/dw₅ = δ₃ × h₁。下游的累积误差,乘上游的激活,就是梯度。

再往回走到 s₁ 时,h₁ 同时连到 s₃ 和 s₄,两条路要加起来。

一步一步看

目标:从原始误差出发一层层往回算,看每个权重的梯度怎样由累积误差乘上它的输入得到。

沿用上一页的数值:x = (1, 0.5),ȳ = 1,前向得 y = −0.1756、ℓ = 1.382。每一帧青绿色标的是这一步新算出来的量。

  1. 起点:原始误差 2(y − ȳ) = 2 × (−0.1756 − 1) = −2.3512。

    反向第 1 步:示例网络各隐藏节点旁写着前向的 h 值,y 节点和通向 ℓ 的连线描成青绿,y 旁写原始误差 2(y−ȳ) = −2.3512,ℓ 旁写 1.382

  2. 输出层的两个权重只有一条路,原始误差乘各自的输入。dℓ/dw₉ = −2.3512 × 0.4735 = −1.1133。dℓ/dw₁₀ = −2.3512 × 0.6491 = −1.5262。

    反向第 2 步:w₉、w₁₀ 两条边描成青绿,图下方写 dℓ/dw₉ = −1.1133、dℓ/dw₁₀ = −1.5262,底部写算式:原始误差分别乘 h₃ 和 h₄

  3. 往回一层,算 s₃、s₄ 处的累积误差。δ₃ = −2.3512 × 1.0 × 0.2493 = −0.5862。δ₄ = −2.3512 × (−1.0) × 0.2278 = 0.5355。

    反向第 3 步:误差沿 w₉、w₁₀ 往回走,这两条边描成青绿,h₃ 旁写 δ₃ = −0.5862,h₄ 旁写 δ₄ = 0.5355,底部写两个累积误差的算式

  4. 第二层四个权重,各用 δ₃ 或 δ₄ 乘 h₁ 或 h₂。dℓ/dw₅ = −0.5862 × 0.5622 = −0.3295。dℓ/dw₆ = −0.5862 × 0.6682 = −0.3917。dℓ/dw₇ = 0.5355 × 0.5622 = 0.3011。dℓ/dw₈ = 0.5355 × 0.6682 = 0.3578。

    反向第 4 步:第二层四条边 w₅ 到 w₈ 描成青绿,h₃、h₄ 旁写 δ₃、δ₄,图下方写四个梯度 −0.3295、−0.3917、0.3011、0.3578,都是 δ₃ 或 δ₄ 乘 h₁ 或 h₂

  5. 再往回到 s₁:h₁ 经 w₅ 连 s₃、经 w₇ 连 s₄,两条路相加再乘 σ′(s₁)。δ₁ = (−0.5862 × 1.0 + 0.5355 × 0.5) × 0.2461 = −0.0784。dℓ/dw₁ = δ₁ × x₁ = −0.0784。

    反向第 5 步:h₁ 通往 h₃ 的 w₅ 和通往 h₄ 的 w₇ 两条边描成青绿,表示两条路径;h₁ 旁写 δ₁ = −0.0784,h₂ 旁写 δ₂ = 0.1893,底部写 δ₁ 的算式和 dℓ/dw₁ = −0.0784

  6. s₂ 同理:δ₂ = (−0.5862 × (−1.0) + 0.5355 × 0.5) × 0.2217 = 0.1893。第一层剩下三个:dℓ/dw₂ = δ₁ × x₂ = −0.0392。dℓ/dw₃ = δ₂ × x₁ = 0.1893。dℓ/dw₄ = δ₂ × x₂ = 0.0947。

怎么算

三条公式就够了:

  • 原始误差:dℓ/dy = 2(y − ȳ)
  • 累积误差往回传:δ_上游 = (Σ δ_下游 × 连线权重) × σ′(s_上游)
  • 权重的梯度:dℓ/dw = δ_下游 × 上游激活

意思是:先从损失拿到起点。每往回一层,把下游各个累积误差乘上连线权重加起来,再乘本节点的 σ′。要哪个权重的梯度,就拿它指向的那个节点的累积误差,乘它出发的那个节点的值。

把 w₁ 写成完整的链式法则,可以看到两条路径:

dℓ/dw₁ = 2(y−ȳ) · w₉ · σ′(s₃) · w₅ · σ′(s₁) · x₁
       + 2(y−ȳ) · w₁₀ · σ′(s₄) · w₇ · σ′(s₁) · x₁

意思是:前一项是经 h₃ 的路,后一项是经 h₄ 的路。两项的开头 2(y−ȳ)·w₉·σ′(s₃) 和 2(y−ȳ)·w₁₀·σ′(s₄) 就是 δ₃ 和 δ₄,第二层时已经算好,这里直接用。

全部 10 个梯度里,2(y − ȳ) 都出现了。w₉ 是 3 个因子相乘,w₅ 是 5 个,w₁ 是两条各 7 个因子的路径相加。越靠前链越长,但前半段都复用。

这 10 个值和对每个权重做数值差分(把权重挪一点点看损失变多少)的结果逐个一致。

常见误解

以为第一层权重只有一条路径

h₁ 同时连向 s₃ 和 s₄,dℓ/dw₁ 必须是两条路径之和。漏一条就错一半。第二层的权重(如 w₅)只连一个下游,才是一条路。

以为每个导数都和网络里所有节点有关

dℓ/dw₉ 只牵涉 y、ȳ、h₃,和 h₄、w₁₀ 无关。一个权重的梯度只取决于它下游路径上的节点和它自己的输入。

算累积误差时忘了乘 σ′

每穿过一个 sigmoid 节点都要乘一次它的 σ′。示例网络的输出层没有激活,所以第一步不乘;隐藏层每个节点都要乘。

试一下

用上面的数值,验算 dℓ/dw₆ 和 dℓ/dw₄。

dℓ/dw₆ = δ₃ × h₂ = −0.5862 × 0.6682 ≈ −0.3917。dℓ/dw₄ = δ₂ × x₂ = 0.1893 × 0.5 ≈ 0.0947。

2. 不全连接的网络:只沿真实连线找路径

它解决什么问题

示例网络是全连接的,每个节点都连到下一层所有节点。真实网络和考试题经常不是这样:有的线没有,有的线跨了层,还可能有好几个输出。这时要先把路径找清楚,再套上面的规则。

直觉

一个权重的梯度,就是它能影响到损失的所有路线之和。路线只能顺着图里真实存在的箭头走。

所以先从这个权重指向的节点出发,顺着箭头往后走到每一个输出,把能走通的路列出来。走不到的输出,这个权重对它的损失就没有影响,梯度是 0。

一步一步看

目标:在不全连接的练习网络里给 w₂₄ 和 w₁₃ 找路径,看梯度只沿真实连线累加,到不了的输出贡献为 0。

课件的练习网络:3 个输入、三个隐藏层、2 个输出,不是全连接,还有一条跨层线 x₁→h₃。总损失 ℓ = ℓ₁ + ℓ₂。

  1. 先找 w₂₄ 这条线:它从 h₂ 指向 h₄。w₂₄ 一变,先动的是 h₄。

    找路径第 1 步:练习网络,从左到右是 x₁ x₂ x₃、h₁ h₂、h₃ h₄ h₅、h₇ h₈ h₆、y₂ y₁;只有 h₂→h₄ 这条边 w₂₄ 和 h₄ 节点描成青绿

  2. 从 h₄ 顺箭头往后走:h₄ 连 h₆ 和 h₈;h₆ 只连 y₁,h₈ 连 y₁ 和 y₂。一共三条路:h₄→h₆→y₁、h₄→h₈→y₁、h₄→h₈→y₂。

    找路径第 2 步:从 h₂→h₄ 出发,h₄→h₆→y₁、h₄→h₈→y₁、h₄→h₈→y₂ 三条路径的边和节点全部描成青绿,两个输出都能到达

  3. 换 w₁₃(x₁→h₃):h₃ 只连 h₇,h₇ 只连 y₂。只有一条路,到不了 y₁。

    找路径第 3 步:x₁→h₃→h₇→y₂ 这条路径描成青绿,y₁ 画成灰底表示到不了,底部写 dℓ₁/dw₁₃ = 0

  4. 结论:dℓ/dw₂₄ 是三条路之和;dℓ/dw₁₃ 只有一条路;dℓ₁/dw₁₃ = 0。

怎么算

w₂₄ 的三条路各自相乘,再相加:

dℓ/dw₂₄ = [ dℓ₁/dy₁ · dy₁/dh₆ · dh₆/dh₄
          + dℓ₁/dy₁ · dy₁/dh₈ · dh₈/dh₄
          + dℓ₂/dy₂ · dy₂/dh₈ · dh₈/dh₄ ] · dh₄/dw₂₄

w₁₃ 只有一条:

dℓ/dw₁₃ = dℓ₂/dy₂ · dy₂/dh₇ · dh₇/dh₃ · dh₃/dw₁₃

意思是:方括号里每一项是一条路,从损失一路乘回到 h₄;最后统一乘 dh₄/dw₂₄,也就是 h₄ 的 σ′ 乘输入 h₂。w₁₃ 只经过 y₂,所以只和 ℓ₂ 有关。

这里每个「dA/dB」表示 B 经一条真实连线影响 A,节点若带激活,激活导数已含在这一步里。

常见误解

按全连接的习惯,把所有输出都算进去

w₁₃ 走不到 y₁,ℓ₁ 对它的导数就是 0。照全连接的样子硬写一条到 y₁ 的路,是凭空多出一项。

两个输出时只算一个损失

总损失 ℓ = ℓ₁ + ℓ₂。一个权重能同时走到 y₁ 和 y₂ 时,两边的路都要算进 dℓ/dw。题目只问 dℓ₁/dw 时,才只看通往 y₁ 的路。

试一下

在练习网络里,h₅→h₈ 这条线(w₅₈)对总损失有几条路径?

两条:h₈→y₁ 和 h₈→y₂。dℓ/dw₅₈ = (dℓ₁/dy₁ · dy₁/dh₈ + dℓ₂/dy₂ · dy₂/dh₈) · dh₈/dw₅₈。

3. 把 BP 放回梯度下降

它解决什么问题

有了全部梯度,还要知道 BP 在训练里站在哪个位置、做到哪里为止。这关系到一个常考的概念题:BP 到底是不是一种训练算法。

从哪来(补充)

1970 年,Seppo Linnainmaa 在赫尔辛基大学的硕士论文里发表了自动微分的反向模式,这是反向传播的数学形式。1986 年,Rumelhart、Hinton 和 Williams 在 Nature 上发表论文 “Learning representations by back-propagating errors”。这篇论文让这套方法在神经网络里普及开来。课件历史表里 1986 年那一行说的就是这件事。

出处:Wikipedia: Backpropagation

直觉

梯度下降四步里,第 3 步「求每个参数的导数」就是 BP。BP 交出梯度就结束了,拿梯度去改权重是第 4 步的事。

一次训练迭代像一来一回:前向从输入走到损失,把路上的值都存下;反向从损失走回输入,用存下的值算出所有梯度;最后一起更新。

一步一步看

目标:把前向、反向、更新、再前向放进一次迭代,看示例网络的损失怎样从 1.382 降到 1.0023。

  1. 一次迭代的四个动作,以示例网络为例:

    动作 做什么 示例网络里
    前向 算出并存下所有 s、h、y、ℓ y = −0.1756,ℓ = 1.382
    反向 从 2(y − ȳ) 出发算累积误差和梯度 10 个梯度,如 dℓ/dw₉ = −1.1133
    更新 每个权重 w ← w − η · dℓ/dw η = 0.1
    回到前向 用新权重再算一遍损失 损失降到 1.0023
  2. 前向用矩阵乘法加速:一层的所有 s 可以写成一个权重矩阵乘一个向量,一次算完。

  3. 反向复用中间值:前向存下的 h、σ(s),以及从后往前算出的累积误差,都直接拿来用。

  4. 四个动作循环,直到损失足够小。

怎么算

更新一步,拿 w₉ 举例:

w₉ 新 = w₉ − η · dℓ/dw₉ = 1.0 − 0.1 × (−1.1133) = 1.1113

意思是:dℓ/dw₉ 为负,说明 w₉ 变大损失会变小,所以 w₉ 被调大。10 个权重都这样各改一次,再走一遍前向,同一样本的损失从 1.382 降到 1.0023。

常见误解

以为 BP 是一种更新参数的算法

BP 只负责高效地求出梯度,更新由梯度下降第 4 步 w ← w − η·dL/dw 完成。两者是配合关系,不是同一件事。

以为 BP 和链式法则完全是一回事

数学内容就是链式法则。BP 多出来的是计算顺序:从后往前,每个累积误差只算一次,被前面所有层复用。直接对每个权重套链式法则也能算对,只是重复计算多。

试一下

用 η = 0.1 更新 w₁ 和 w₁₀,新值各是多少?

w₁ 新 = 0.5 − 0.1 × (−0.0784) = 0.50784。w₁₀ 新 = −1.0 − 0.1 × (−1.5262) = −0.84738。两个梯度都为负,所以两个权重都被调大。

把它们串起来

反向传播没有新的数学,用的就是上一页的链式法则和局部导数表。它的贡献是顺序。

从损失出发,先拿到原始误差 2(y − ȳ)。每往回一层,把下游累积误差乘上连线权重,多个下游就相加,再乘本节点的 σ′,得到这一层的累积误差。任一权重的梯度,就是它指向的那个累积误差乘它出发的那个激活。

网络不是全连接时,规则不变,只是先顺着真实的箭头把路找清楚。走不到的输出,梯度是 0。

BP 交出梯度就结束了,改权重是梯度下降的事。前向、反向、更新,一来一回算一次迭代。

这套流程有它的毛病:σ′ 最大只有 0.25,层一多,前面层的梯度会被乘得很小;每次用一个样本还是全部样本求梯度,各有代价;网络大了还会过拟合。下一讲处理这些问题。

课件里的坑

  • [缺字母] p.39 左边式子的分母写成 w₆₁,缺了 d,应为 dℓ₁/dw₆₁(p.39)
  • [读图提醒] p.39 公开的 dℓ₁/dw₅₈ = dℓ₁/dy₁ · dy₁/dh₈ · h₅ 省略了 h₈ 的激活导数。若 h₈ 带 sigmoid,完整写法要在中间乘 σ(s₈)(1−σ(s₈));考试按题目给的节点定义补全(p.39)
  • [答案被遮] p.40 的答案框整块被遮住,本页 w₂₄、w₁₃ 的路径是按 p.39 的连线表推出来的,没有原答案可对照(p.40)
  • [没给数值] p.26–35 只推符号式,没有代数值。本页的数值是自设的一组,用来核对每一步;考试多半只要求写出表达式(p.35)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三条公式:原始误差、累积误差往回传、梯度等于下游累积误差乘上游激活;再在示例网络上写出 dℓ/dw₉、dℓ/dw₅、dℓ/dw₁ 三个符号式,注意 w₁ 是两条路;然后在练习网络上数 w₂₄ 和 w₁₃ 各有几条路;最后回答一句话:BP 和梯度下降是什么关系。

必背

  1. 任一权重的梯度 = 下游累积误差 × 上游激活。
  2. 累积误差往回传一层:乘连线上的权重,再乘该节点的 σ′;一个节点连向几个下游,就把几条路加起来。
  3. 越靠前的权重求导链越长、路径越多,但前半段的累积误差可以复用。
  4. 非全连接网络只沿真实存在的连线找路径;碰不到某个输出,对那个输出的梯度就是 0。
  5. BP 负责计算梯度,参数更新由梯度下降完成。
  6. 一次训练迭代:前向算出并存下所有值,反向算累积误差和梯度,再更新全部权重。

课件例题

例 1(课件 p.26–35):示例网络逐个求 10 个权重的梯度

见下方完整例题。

例 2(课件 p.39):非全连接、双输出网络的梯度

题面:3 个输入、三个隐藏层、2 个输出,不是全连接。连线是:x₁ 连 h₁、h₂,还有一条跨层线 x₁→h₃(权重 w₁₃);x₂ 连 h₂;x₃ 连 h₁;h₁ 连 h₃、h₄;h₂ 连 h₄(w₂₄)、h₅;h₃ 连 h₇;h₄ 连 h₆、h₈;h₅ 连 h₆、h₈(w₅₈);h₆ 连 y₁(w₆₁);h₇ 连 y₂;h₈ 连 y₁、y₂。总损失 ℓ = ℓ₁ + ℓ₂。求 dℓ₁/dw₆₁ 和 dℓ/dw₅₈。

非全连接网络:输入 x₁、x₂、x₃;第一隐藏层 h₁、h₂;第二隐藏层 h₃、h₄、h₅;第三隐藏层 h₆、h₇、h₈;输出 y₁、y₂ 分别与 ȳ₁、ȳ₂ 算损失 ℓ₁、ℓ₂,总损失 ℓ = ℓ₁ + ℓ₂。连线:x₁ 连 h₁、h₂,另有跨层线 x₁→h₃ 标 w₁₃;x₂ 连 h₂;x₃ 连 h₁;h₁ 连 h₃、h₄;h₂ 连 h₄(标 w₂₄)和 h₅;h₃ 连 h₇;h₄ 连 h₆、h₈;h₅ 连 h₆ 和 h₈(标 w₅₈);h₆ 连 y₁(标 w₆₁);h₇ 连 y₂;h₈ 连 y₁、y₂。
图片来源:COMP5541 L04_Deep Neural Networks - Part 1.pptx, p.39
提示

先看每个权重指向哪个节点,再从那个节点顺着箭头走到输出,数清有几条路。w₆₁ 直接连输出;w₅₈ 指向 h₈,h₈ 连两个输出。

解答
  1. w₆₁ 直接连到 y₁,只影响 ℓ₁:dℓ₁/dw₆₁ = dℓ₁/dy₁ · dy₁/dw₆₁,后一项就是输入 h₆。y₁ 若带激活还要乘它的导数。
  2. w₅₈ 影响 h₈,h₈ 同时通向 y₁ 和 y₂,有两条路径:dℓ/dw₅₈ = (dℓ₁/dy₁ · dy₁/dh₈ + dℓ₂/dy₂ · dy₂/dh₈) · dh₈/dw₅₈。
  3. 课件公开的 dℓ₁/dw₅₈ = dℓ₁/dy₁ · dy₁/dh₈ · h₅ 只是第一条。h₈ 若是 σ(s₈),中间还要乘 σ(s₈)(1−σ(s₈))。

例 3(课件 p.40):同一网络求 dℓ/dw₂₄ 和 dℓ/dw₁₃

题面:沿用例 2 的网络,课件答案框被遮住。

提示

w₂₄ 指向 h₄,从 h₄ 往后数路;w₁₃ 指向 h₃,h₃ 后面只有一条线。

解答
  1. w₂₄ 影响 h₄;h₄ 连 h₆、h₈;h₆ 只连 y₁,h₈ 连 y₁ 和 y₂,共三条路径。
  2. dℓ/dw₂₄ = [dℓ₁/dy₁ · dy₁/dh₆ · dh₆/dh₄ + dℓ₁/dy₁ · dy₁/dh₈ · dh₈/dh₄ + dℓ₂/dy₂ · dy₂/dh₈ · dh₈/dh₄] · dh₄/dw₂₄。
  3. w₁₃ 是 x₁→h₃;h₃ 只连 h₇,h₇ 只连 y₂,只有一条路径:dℓ/dw₁₃ = dℓ₂/dy₂ · dy₂/dh₇ · dh₇/dh₃ · dh₃/dw₁₃。
  4. dℓ₁/dw₁₃ = 0,w₁₃ 影响不到 y₁。梯度只和真实存在的下游路径有关。答案框被遮,以上按连线自行推出。

例 4(课件 p.41):Back Propagation = Chain Rule?

题面:课堂讨论题,BP 和链式法则是不是一回事?

提示

分开看两件事:用到的数学是什么,计算的顺序有什么讲究。再想想 BP 做到哪一步为止。

解答
  1. 数学内容就是链式法则:一条路上乘,多条路相加。
  2. BP 多出来的是计算顺序:从输出往回算,每个累积误差只算一次,被前面所有层复用。
  3. BP 只负责算梯度,更新参数靠梯度下降。

完整例题

题面(课件 p.26–35):p.26 的网络是 2 输入,两个各 2 单元的 sigmoid 隐藏层,线性输出,无偏置,ℓ = (y − ȳ)²。第一层 s₁ = w₁x₁ + w₂x₂、s₂ = w₃x₁ + w₄x₂,第二层 s₃ = w₅h₁ + w₆h₂、s₄ = w₇h₁ + w₈h₂,输出 y = w₉h₃ + w₁₀h₄,每个 h 是对应 s 的 σ。课件逐页推出全部 10 个权重的梯度。写出 dℓ/dw₉、dℓ/dw₅、dℓ/dw₁ 的公式,再代入数值。

约定:课件没给数值,以下代入自设数值:x = (1, 0.5),ȳ = 1,w₁…w₁₀ = 0.5, −0.5, 0.3, 0.8, 1.0, −1.0, 0.5, 0.5, 1.0, −1.0。σ′ 用 h(1 − h),保留四位小数。

解法:

  1. 符号式:dℓ/dw₉ = 2(y − ȳ) · h₃。
  2. 符号式:dℓ/dw₅ = 2(y − ȳ) · w₉ · σ(s₃)(1−σ(s₃)) · h₁。
  3. 符号式:dℓ/dw₁ 有两条路径相加:2(y−ȳ) · w₉ · σ(s₃)(1−σ(s₃)) · w₅ · σ(s₁)(1−σ(s₁)) · x₁ + 2(y−ȳ) · w₁₀ · σ(s₄)(1−σ(s₄)) · w₇ · σ(s₁)(1−σ(s₁)) · x₁。
  4. 其余 7 个照替换规则写:w₁₀ 把 h₃ 换 h₄;w₆ 把 h₁ 换 h₂;w₇、w₈ 走 s₄ 一侧,用 w₁₀ 和 σ(s₄);w₂、w₄ 末尾乘 x₂;w₃、w₄ 走 h₂ 一侧,用 w₆、w₈ 和 σ(s₂)。
  5. 前向:s₁ = 0.25,s₂ = 0.7,h₁ = 0.5622,h₂ = 0.6682;s₃ = −0.106,s₄ = 0.6152,h₃ = 0.4735,h₄ = 0.6491;y = −0.1756,ℓ = (−1.1756)² = 1.382。
  6. 输出层:原始误差 2(y − ȳ) = −2.3512,dℓ/dw₉ = −2.3512 × 0.4735 = −1.1133。
  7. 第二层:δ₃ = −2.3512 × 1.0 × 0.2493 = −0.5862;dℓ/dw₅ = −0.5862 × 0.5622 = −0.3295。
  8. 第一层:δ₄ = −2.3512 × (−1.0) × 0.2278 = 0.5355。h₁ 两条路径:δ₁ = (−0.5862 × 1.0 + 0.5355 × 0.5) × 0.2461 = −0.0784,再乘 x₁ = 1,dℓ/dw₁ = −0.0784。

要点:答案 y = −0.1756,ℓ = 1.382,dℓ/dw₉ = −1.1133,dℓ/dw₅ = −0.3295,dℓ/dw₁ = −0.0784。三个公式的开头都是 2(y − ȳ);dℓ/dw₅ 的前半段就是 δ₃,dℓ/dw₁ 的两项开头就是 δ₃ 和 δ₄。

答题格式:先写符号式,标清每一项是哪个局部导数;再按「前向 → 原始误差 → 各层累积误差 → 梯度」的顺序代数。

变式题(先自己做)

改编自课件 p.26–35。同一网络、同一组权重,换成 x = (0.5, 1),ȳ = 0。求 y、ℓ,以及 dℓ/dw₁₀、dℓ/dw₇、dℓ/dw₃。

提示

w₁₀ 只有一条路径,乘 h₄;w₇ 走 s₄ 那一侧,用 w₁₀ 和 σ′(s₄);w₃ 进 s₂,h₂ 经 w₆ 和 w₈ 两条路,末尾乘 x₁ = 0.5。sigmoid 导数用 h(1 − h) 直接算。

判分点与答案(非官方)

判分点:① 前向四个 s、h 正确;② 原始误差符号正确(y < ȳ 时为负,这里 ȳ = 0 而 y 为负);③ dℓ/dw₃ 写出两条路径并相加;④ 末尾乘的是 x₁ 而不是 x₂。

  1. s₁ = 0.25 − 0.5 = −0.25,s₂ = 0.15 + 0.8 = 0.95;h₁ ≈ 0.4378,h₂ ≈ 0.7211。
  2. s₃ ≈ −0.2833,s₄ ≈ 0.5795;h₃ ≈ 0.4296,h₄ ≈ 0.6409。
  3. y ≈ 0.4296 − 0.6409 = −0.2113,ℓ ≈ 0.0446,原始误差 2(y − ȳ) ≈ −0.4226。
  4. dℓ/dw₁₀ ≈ −0.4226 × 0.6409 ≈ −0.2709。
  5. s₄ 处累积误差 ≈ −0.4226 × (−1.0) × 0.2301 ≈ 0.0973;dℓ/dw₇ ≈ 0.0973 × 0.4378 ≈ 0.0426。
  6. s₃ 处累积误差 ≈ −0.4226 × 1.0 × 0.2451 ≈ −0.1036;s₂ 处 ≈ (−0.1036 × (−1.0) + 0.0973 × 0.5) × 0.2011 ≈ 0.0306;dℓ/dw₃ ≈ 0.0306 × 0.5 ≈ 0.0153。

闪卡自测

1. 所有梯度从哪个数开始?

原始误差 2(y − ȳ),它出现在全部 10 个梯度里(p.35)。

2. 写出 dℓ/dw₆。

2(y − ȳ) · 1 · w₉ · σ(s₃)(1−σ(s₃)) · h₂,和 dℓ/dw₅ 只差最后的 h₁ 换成 h₂(p.35)。

3. dℓ/dw₄ 为什么有两项?

w₄ 进入 s₂,h₂ 同时连向 s₃(经 w₆)和 s₄(经 w₈),两条路径按并联规则相加(p.34)。

4. p.35 说的「可以复用中间值」具体复用了什么?

2(y − ȳ) 出现在全部 10 个梯度里;s₃、s₄ 处的累积误差被第二层和第一层的梯度共用(p.35)。

5. w₉、w₅、w₁ 的梯度各由几个因子组成?

w₉ 是 3 个,w₅ 是 5 个,w₁ 是两条各 7 个因子的路径相加(p.35)。

6. 练习网络里 dℓ₁/dw₁₃ 等于多少?

0。w₁₃ 唯一的下游路径是 h₃→h₇→y₂,影响不到 y₁(p.40)。

7. 练习网络里 w₂₄ 有几条路径?

三条:h₄→h₆→y₁、h₄→h₈→y₁、h₄→h₈→y₂(p.40)。

8. 判断:反向传播会更新参数。

错。BP 计算梯度,更新由梯度下降完成(p.36)。

9. p.36 说前向和反向各靠什么提高效率?

前向用矩阵乘法一次算完一层,反向复用前向存下的值和已算好的累积误差(p.36)。

10. p.39 左边式子哪里写错了?

分母缺了 d,应为 dℓ₁/dw₆₁(p.39)。

下一讲

下一讲接着处理训练这套网络时的问题:用 mini-batch 和动量改进优化,用 ReLU 缓解梯度消失,用正则化防过拟合:L05a。

下一讲 →
L05a L05a Mini-batch 与动量:让梯度下降算得省、走得顺

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。