← COMP5511 全部讲次
L06b · 第 6 周

L06b 隐藏层与前向传播:把几个神经元叠起来

用课件的 Titanic 例子看懂隐藏层:每个隐藏节点是一个逻辑回归,输出层再把它们合起来。再拿一个 2-2-1 小网络逐帧算一遍前向传播,最后看深层网络每层在学什么。

一句话版

隐藏层就是并排放几个逻辑回归,每个都看同一组输入、各自算出一个数;输出层再把这几个数当成新的输入,做一次逻辑回归。

从输入出发,一层一层先加权求和、再过激活函数,算到输出,这个过程叫前向传播。网络做预测时只做前向传播。

先认识这几个词

词 全称 / 读法 一句人话
隐藏层 hidden layer 夹在输入和输出之间的那层节点,训练数据里看不到它们的「正确答案」
隐藏节点 hidden unit 隐藏层里的一个神经元,本身就是一个逻辑回归
α 读「阿尔法」 课件里输入层到隐藏层的权重
β 读「贝塔」 课件里隐藏层到输出层的权重
前向传播 forward propagation 从输入往输出逐层算值
深度 / 宽度 depth / width 隐藏层有几层 / 每层有几个节点

一个类比:两位初审加一位终审

一份申请先交给两位初审。一位只盯年龄和舱位,另一位更在意性别。两人看的是同一份材料,各自打一个分。

终审不看原始材料,只看两位初审的分数,按自己对两人的信任程度加权,给出最后结论。

初审就是隐藏节点,终审就是输出节点。每个人做的事都一样:加权打分,再换算成概率。

类比在哪里失效:

  • 真的初审知道自己该盯什么。隐藏节点没人告诉它,盯什么是训练时从数据里学出来的。
  • 真的终审可以否决初审。输出节点只会加权求和再过 sigmoid,没有别的判断。

从零讲起

1. 隐藏层:并排放几个逻辑回归

它解决什么问题

上一页讲过,一个逻辑回归神经元的分界线 θᵀx = 0 是直的。有些数据用一条直线分不开,最出名的例子是异或(XOR):两个输入相同判 0,不同判 1,平面上四个点交叉摆放,怎么画直线都分不对。要画出弯的分界线,就得把几个神经元组合起来。

从哪来(补充)

1957 年 Frank Rosenblatt 做出感知机,引起很大期待。1969 年 Marvin Minsky 和 Seymour Papert 出版《Perceptrons》一书。书里指出,单层感知机学不会 XOR 这类线性不可分的函数。多层网络能解决这个问题,但当时没有好办法训练多层网络,这一方向冷了很多年,直到反向传播被广泛使用。

出处:Wikipedia: Perceptron

直觉

隐藏层里的每个节点都在问一个自己的问题。课件的 Titanic 例子里,一个隐藏节点主要看年龄和舱位,另一个主要看性别。输出节点再问:这两个答案合起来,这位乘客生还的可能有多大?

每个隐藏节点是一条直线。几条直线的结果再组合一次,就能拼出弯的边界。

一步一步看

目标:读 Titanic 网络两个隐藏节点的权重,看它们各侧重哪些输入,输出层又怎样把两者再组合一次。

拿课件的 Titanic 网络走一遍。输入 Age = 34、Gender = 2、Stage = 4(舱位等级)。

  1. 先看网络长什么样:三个输入各连一条边到两个隐藏节点 H1、H2,边上写着权重;H1、H2 再各连一条边到输出。

    Titanic 网络:Age 34、Gender 2、Stage 4 三个输入方框,各带权重连到 H1 和 H2;H1 权重 .6/.1/.7,H2 权重 .2/.3/.2;H1 标 .4、H2 标 .2,再以 .5 和 .8 连到青绿输出节点 y,旁边写 σ(0.36)=0.589

  2. 看 H1 的三条入边:Age .6、Gender .1、Stage .7。性别的权重最小,课件把 H1 标成「Age and Stage」。

  3. 看 H2 的三条入边:Age .2、Gender .3、Stage .2。性别的权重最大,课件标成「Gender」。

  4. 图上标的 H1 输出是 .4,H2 是 .2。输出层用它们算:

步骤 计算 结果
加权求和 b = .5 × .4 + .8 × .2 = 0.2 + 0.16 0.36
过 sigmoid y = σ(0.36) 0.589
读结果 四舍五入 0.6,即生还概率
  1. 输出层对两个逻辑回归的结果再做一次逻辑回归,课件叫「Couple the effects」,把两种效应耦合起来。

怎么算

单个隐藏节点 j:aⱼ = Σᵢ αⱼᵢ xᵢ,zⱼ = σ(aⱼ)

意思是:隐藏节点 j 先把所有输入乘上「到自己的那组权重」再加起来,然后过 sigmoid。它和上一页的逻辑回归是同一个公式,只是权重换成了 α。

输出节点:b = Σⱼ βⱼ zⱼ,y = σ(b)

意思是:输出节点把所有隐藏节点的输出当成新的输入,再做一次逻辑回归。

Titanic 的隐藏层值可以自己核一下。H1 的加权和 = .6 × 34 + .1 × 2 + .7 × 4 = 23.4,σ(23.4) ≈ 1。 H2 的加权和 = .2 × 34 + .3 × 2 + .2 × 4 = 8.2,σ(8.2) ≈ 0.9997。

这两个数和图上的 .4、.2 对不上,图上也没画偏置。所以课件的隐藏值是示意,考这张图时按「输出层用给定的 .4、.2 计算」来答。

常见误解

以为按权重大小就能读出隐藏节点在看什么

只有输入已经标准化到相近范围时才成立。Titanic 里 Age = 34 远大于 Gender = 2。 H2 的年龄贡献 .2 × 34 = 6.8,性别贡献 .3 × 2 = 0.6。 原始量纲下 H2 其实主要被年龄推动。课件按权重读成「Gender」,是默认输入已标准化。

以为隐藏节点越多越好

节点多了能拼出更复杂的边界,但参数也多,更容易把训练数据背下来。每层放几个节点是设计选择之一,靠试验决定,后面第 3 个概念会讲。

试一下

Titanic 网络里,如果把输出层的两个权重对调成 H1 → .8、H2 → .5,隐藏输出仍是 .4 和 .2,生还概率变高还是变低?

b = .8 × .4 + .5 × .2 = 0.32 + 0.1 = 0.42,比原来的 0.36 大。 σ(0.42) ≈ 0.6035,比 0.589 略高。原因是更大的权重给了输出更大的 H1。

2. 前向传播:五步公式逐帧算

它解决什么问题

Titanic 例子说明了思路,但它的隐藏值是示意的,没法从头算到尾。课件把计算写成五步公式。这一节用一个数字都能算出来的小网络,把五步一帧一帧走完,后面讲反向传播时还会用这个网络。

直觉

前向传播就是排队交作业:输入层先交给隐藏层,隐藏层每个节点算完交给输出层,输出层算完交出预测。每一层只用上一层交来的数,不回头看。

每一层做的事都一样,两个动作:先加权求和,再过激活函数。

一步一步看

目标:在 2-2-1 网络上按五步公式逐帧算到损失,看每一层都是先加权求和、再过 sigmoid。

网络是 2-2-1:两个输入、两个隐藏节点、一个输出。权重 α₁₁ = 0.1、α₁₂ = 0.2(到 z₁),α₂₁ = 0.3、α₂₂ = −0.1(到 z₂),β₁ = 0.5、β₂ = −0.4。为了好算,不设偏置。

  1. 准备:输入 x = (1, 2),这个样本的真实标签 y* = 1。

    第 0 帧:2-2-1 网络,输入 x1=1、x2=2,六条边标着权重 0.1、0.2、0.3、−0.1、0.5、−0.4,隐藏节点和输出节点是灰色,表示还没算

  2. (B) 隐藏层加权求和:a₁ = 0.1 × 1 + 0.2 × 2 = 0.5,a₂ = 0.3 × 1 + (−0.1) × 2 = 0.1。

    第 1 帧:两个隐藏节点描成青绿,下方写 a1=0.5、a2=0.1,图注给出 0.1×1+0.2×2 和 0.3×1+(−0.1)×2 两个算式

  3. (C) 隐藏层过 sigmoid:z₁ = σ(0.5) = 0.6225,z₂ = σ(0.1) = 0.525。

    第 2 帧:隐藏节点下方新增 z1=0.6225、z2=0.525 两行青绿字,图注写 σ(0.5) 和 σ(0.1) 的结果

  4. (D) 输出层加权求和:b = 0.5 × 0.6225 + (−0.4) × 0.525 = 0.3113 − 0.21 = 0.1012。

    第 3 帧:输出节点描成青绿,标 b=0.1012,图注写 0.5×0.6225+(−0.4)×0.525,说明输出层先做和隐藏层一样的加权求和

  5. (E) 输出过 sigmoid:y = σ(0.1012) = 0.5253。和 y* = 1 比,交叉熵 J = −log 0.5253 = 0.6438。

    第 4 帧:输出节点下方写 y=0.5253,图注给出交叉熵 J=−log 0.5253=0.6438,网络前向传播全部完成

怎么算

课件的五步,自下而上:

  • (A) 输入:给定 xᵢ,对所有 i
  • (B) 隐藏层线性部分:aⱼ = Σᵢ₌₀ᴹ αⱼᵢ xᵢ
  • (C) 隐藏层非线性部分:zⱼ = σ(aⱼ) = 1/(1 + exp(−aⱼ))
  • (D) 输出层线性部分:b = Σⱼ₌₀ᴰ βⱼ zⱼ
  • (E) 输出:y = σ(b) = 1/(1 + exp(−b))

意思是:每一层都是「加权求和 + 非线性」两个动作,(B)(C) 是隐藏层的两个动作,(D)(E) 是输出层的两个动作。

两个细节要记住。αⱼᵢ 的下标顺序是「到 j、从 i」:第一个下标是隐藏节点,第二个是输入。求和从 0 开始,表示有一个恒为 1 的 x₀ 和 z₀,对应的 αⱼ₀ 和 β₀ 就是偏置。上面的小网络为了好算没有偏置,等于把它们都设成 0。

常见误解

把 αⱼᵢ 读成「从 j 到 i」

顺序反了。αⱼᵢ 是从输入 i 到隐藏节点 j 的权重,上面例子的 α₁₂ = 0.2 是 x₂ 连到 z₁ 的那条边。反向传播求梯度时下标顺序一错,整列都会算错。

以为前向传播会更新权重

前向传播只算值,权重原封不动。更新权重要先反向传播求出梯度,再走一步梯度下降,这在本讲最后一页。

试一下

同一个 2-2-1 网络,只把输出权重改成 β₁ = 0.5、β₂ = 0.4(第二个变正)。其他不变,b 和 y 变成多少?

隐藏层不受影响,z₁ = 0.6225、z₂ = 0.525。b = 0.5 × 0.6225 + 0.4 × 0.525 = 0.3113 + 0.21 = 0.5212。 y = σ(0.5212) ≈ 0.6274,比原来的 0.5253 高,离真实标签 1 更近。

3. 深层网络:一层一层往上抽象

它解决什么问题

一层隐藏层能拼出弯的边界。图像、语音这类数据更复杂,课件接着把隐藏层加到两层、三层。需要搞清楚多出来的层在学什么,以及设计一个网络要做哪些决定。

直觉

每多一层,就是把上一层的输出当作下一层的输入,再做一遍「加权求和 + 非线性」。公式完全一样,只是重复更多次。

课件引用的人脸识别例子说明了层数的意义:底层学到边缘,中间层把边缘拼成眼睛、鼻子,高层把部件拼成整张脸。没人规定每层该学什么,这些特征是在训练时自己长出来的。

一步一步看

目标:从像素到整张脸逐层看深层网络学到什么,再看设计网络时要定哪四项选择。

  1. 输入层:一张人脸图片的像素值。

  2. 第 1 层隐藏层:学到各种方向的边缘。

  3. 第 2 层隐藏层:学到物体部件,比如眼睛、鼻子。

  4. 第 3 层隐藏层:学到完整物体,即整张脸的模式。

    四个方框从左到右:像素(输入)、边缘(第 1 层)、部件(第 2 层,描成青绿,下写眼睛、鼻子)、物体(第 3 层,整张脸),箭头依次相连

  5. 设计网络时要做的四项选择:

选择 含义 本讲哪里讲
隐藏层数 深度 本节
每层单元数 宽度,三层可以各不相同 本节
激活函数类型 非线性用哪个 下一页
目标函数形式 损失怎么算 再下一页

怎么判断

拿到一个网络结构,按两个问题判断它的「形状」:

  • 输入和输出之间有几层隐藏层?这是深度。课件先画了两层的,再画了三层的。
  • 每层有几个节点?这是宽度。三层那张图分别记作 a₁…a_D、b₁…b_E、c₁…c_F,D、E、F 可以不同。

这四项选择没有公式能直接算出最优值。课件配图写着「Alchemy!」(炼金术),意思是很大程度上靠经验和试验。

常见误解

以为设计者给每层指定了要学的特征

课件原话是我们并不知道「正确的」抽象层次是什么,所以让模型自己去找。边缘、部件这些是事后把每层可视化才看到的。

以为层数越多一定越好

层数一多会更难训练。下一页会看到,用 sigmoid 做激活时,5 层网络在课件的实验里几乎训练不动。

试一下

一个网络有 2 个输入、3 个隐藏节点、1 个输出,隐藏层和输出层都带偏置。一共有多少个权重?

隐藏层每个节点连 2 个输入加 1 个偏置,共 3 个权重,3 个节点是 3 × 3 = 9 个。输出节点连 3 个隐藏节点加 1 个偏置,共 4 个。合计 9 + 4 = 13 个。

把它们串起来

一个逻辑回归神经元只能画直线。把几个神经元并排放成隐藏层,每个隐藏节点各自是一个逻辑回归,看同一组输入、抓住输入的一种组合;输出层再把隐藏层的结果做一次逻辑回归,把几种效应合起来。Titanic 例子里一个隐藏节点主要看年龄和舱位,另一个主要看性别。

整个计算从输入往输出逐层进行,每层都是「加权求和 + 非线性」,这就是前向传播。课件把它写成 (A) 到 (E) 五步,输入到隐藏层的权重叫 α,隐藏层到输出的权重叫 β,下标从 0 开始的那一项是偏置。

层数继续加深,网络就逐层学到越来越抽象的特征:边缘、部件、物体。深度、宽度、激活函数、目标函数是四项设计选择。下一页讲其中的激活函数。

课件里的坑

  • [读图提醒] Titanic 的隐藏值 .4、.2 用图上的输入和权重算不出来,按输入算加权和为 23.4 和 8.2,图上也没画偏置,隐藏值应是示意(p.22)
  • [读图提醒] 最后一张 Titanic 图把 Gender 的输入印成 1,前三张都是 2;按 1 算结论不变(p.25)
  • [读图提醒] 「主要看性别」只是按权重大小读,原始输入量纲不同,比较权重前要先假定输入已标准化(p.24)
  • [符号提醒] 多分类那页的网络图把隐藏节点标成 a₁…a_D,与五步公式里的 z 记号不同,指的是同一层(p.30)
  • [页码提醒] 课件中段页脚比 PDF 页序小 2,本页引用的页码都按 PDF 页序(p.33)

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写五步公式和 α 下标的含义;再拿 2-2-1 小网络从输入算到 y,不看答案对一遍;然后做 Titanic 完整例题;最后过一遍四项设计选择。

必背

  1. 隐藏层的每个节点都是一个逻辑回归;输出层再对隐藏层的结果做一次逻辑回归,把几种效应耦合起来
  2. Titanic 输出层:b = .5 × .4 + .8 × .2 = 0.36,σ(0.36) = 0.589,约等于图上的 0.6
  3. 前向传播五步:(A) 给定 xᵢ;(B) aⱼ = Σᵢ αⱼᵢxᵢ;(C) zⱼ = σ(aⱼ);(D) b = Σⱼ βⱼzⱼ;(E) y = σ(b)
  4. αⱼᵢ 的下标是「到 j、从 i」;求和从 0 开始,x₀ = z₀ = 1,对应的 αⱼ₀、β₀ 就是偏置
  5. 深层网络逐层抽象:像素 → 边缘 → 物体部件 → 完整物体,各层学成什么由数据决定
  6. 四项设计选择:隐藏层数(深度)、每层单元数(宽度)、激活函数类型、目标函数形式

课件例题

例 1(课件 p.22–25):Titanic 网络怎么算出生还概率 0.6?两个隐藏节点各在看什么?

题面:输入 Age = 34、Gender = 2、Stage = 4;H1 权重 .6、.1、.7,H2 权重 .2、.3、.2;图上标 H1 = .4、H2 = .2;输出权重 .5、.8。

Titanic 生还预测网络:左边三个绿色输入节点 Age 34、Gender 2、Stage 4,各连到两个红色隐藏节点,连线标权重 .6、.2、.1、.3、.7、.2;上隐藏节点输出标 .4,下隐藏节点输出标 .2;两者以权重 .5、.8 连到右边大红色输出节点,输出 0.6,注 Probability of being Alive
图片来源:COMP5511 Lecture 6 NN-1-updated.pdf, p.22
提示

输出层只用 .4 和 .2 两个数;读隐藏节点时看哪条入边的权重最大。

解答

b = .5 × .4 + .8 × .2 = 0.36,σ(0.36) = 0.589 ≈ 0.6。H1 的 Age .6、Stage .7 大,主要看年龄和舱位;H2 的 Gender .3 最大,课件读成主要看性别。输出层把两者耦合。完整过程和隐藏值的核对见下方完整例题。

例 2(课件 p.28):写出单隐藏层网络的五步前向公式,说明求和从 0 开始的意思。

题面:输入层 x₁…x_M,隐藏层 z₁…z_D,输出 y,权重 α、β。

提示

隐藏层两个动作、输出层两个动作,再加一个给定输入。

解答

(A) 给定 xᵢ;(B) aⱼ = Σᵢ₌₀ᴹ αⱼᵢxᵢ;(C) zⱼ = σ(aⱼ);(D) b = Σⱼ₌₀ᴰ βⱼzⱼ;(E) y = σ(b)。求和从 0 开始,表示有恒为 1 的 x₀、z₀,对应的 αⱼ₀、β₀ 就是偏置。

例 3(课件 p.33–35):深层网络各层学到什么?设计网络要做哪几项选择?

题面:人脸识别例子,输入像素经三层隐藏层;配图写着「Alchemy!」。

提示

按「像素之后」的顺序说三层;设计选择有四项,两项讲结构,两项讲函数。

解答

第 1 层学到边缘,第 2 层学到物体部件(眼睛、鼻子),第 3 层学到完整物体。课件说我们不知道正确的抽象层次,所以让模型自己找。四项设计选择是隐藏层数、每层单元数、激活函数类型、目标函数形式,靠经验和试验,没有公式。

完整例题

题面(课件 p.22–25):预测 Titanic 乘客是否生还。输入 Age = 34、Gender = 2、Stage = 4。到隐藏节点 H1 的权重是 Age .6、Gender .1、Stage .7;到 H2 的是 Age .2、Gender .3、Stage .2。图上标的隐藏输出 H1 = .4、H2 = .2;输出节点权重 H1 → .5、H2 → .8。(a) 算出输出概率。(b) 按权重解读 H1、H2 各主要反映什么。(c) 从输入出发能算出 .4 和 .2 吗?

解法:

  1. (a) 输出层加权求和:b = .5 × .4 + .8 × .2 = 0.2 + 0.16 = 0.36。
  2. (a) 过 sigmoid:y = σ(0.36) = 0.589,四舍五入为 0.6,即生还概率。
  3. (b) H1:Age .6、Stage .7 大,Gender 只有 .1,课件标「Age and Stage」,是一个以年龄和舱位为主的逻辑回归。
  4. (b) H2:Gender 的 .3 最大,课件标「Gender」。输出层对两个逻辑回归的结果再做一次逻辑回归,把两种效应耦合起来。
  5. (c) H1 的加权和 = .6 × 34 + .1 × 2 + .7 × 4 = 23.4,σ(23.4) ≈ 1;H2 = .2 × 34 + .3 × 2 + .2 × 4 = 8.2,σ(8.2) ≈ 0.9997。算不出 .4 和 .2,图上也没画偏置,隐藏值应是示意。
  6. (b) 的补充:按权重读只在输入已标准化时成立。Age 的贡献 .2 × 34 = 6.8 远大于 Gender 的 .3 × 2 = 0.6。

要点:输出层的计算和逻辑回归完全一样,只是输入换成了隐藏层的输出。

答题格式:考这张图时写「b = … = 0.36,y = σ(0.36) = 0.589 ≈ 0.6」。若题目要求从输入算起,先指出缺偏置或需要标准化,这一点课件没有说明,属于推断。

变式题(先自己做)

(1) 改编自课件 p.22:Titanic 网络结构和输出权重不变(H1 → .5、H2 → .8),另一位乘客的隐藏输出是 H1 = .9、H2 = .1。求生还概率,比原题高还是低? (2) 自编情境:用本页的 2-2-1 网络(α₁₁ = 0.1、α₁₂ = 0.2、α₂₁ = 0.3、α₂₂ = −0.1、β₁ = 0.5、β₂ = −0.4,不设偏置),输入改成 x = (2, 1),求 a、z、b、y。 (3) 自编情境:一个网络有 4 个输入、5 个隐藏节点、3 个输出,各层都带偏置。α 和 β 各有多少个?

提示

(1) 只做输出层两步。(2) 按 (B)(C)(D)(E) 的顺序,注意 α₁₂ 是 x₂ 连到 z₁。(3) 每个节点的权重数 = 上一层节点数 + 1。

判分点与答案(非官方评分标准)

判分点:① 每层先写加权和再写 sigmoid;② α 下标读对;③ 偏置要算进权重个数。

(1) b = .5 × .9 + .8 × .1 = 0.45 + 0.08 = 0.53,y = σ(0.53) = 0.6295,比原题 0.589 高。H1 大了很多,而 H1 和 H2 的输出权重都为正。

(2) a₁ = 0.1 × 2 + 0.2 × 1 = 0.4,a₂ = 0.3 × 2 + (−0.1) × 1 = 0.5;z₁ = σ(0.4) = 0.5987,z₂ = σ(0.5) = 0.6225;b = 0.5 × 0.5987 + (−0.4) × 0.6225 = 0.0504;y = σ(0.0504) = 0.5126。

(3) α:5 个隐藏节点 × (4 + 1) = 25 个。β:3 个输出 × (5 + 1) = 18 个。

闪卡自测

1. 隐藏层的一个节点本质上是什么?

一个逻辑回归:对输入加权求和,再过 sigmoid(p.23–24)。

2. Titanic 网络的输出 0.6 是怎么来的?

σ(.5 × .4 + .8 × .2) = σ(0.36) = 0.589,四舍五入为 0.6(p.22)。

3. 「Couple the effects」指什么?

输出层对两个隐藏节点的结果再做一次逻辑回归,把「年龄与舱位」和「性别」两种效应合起来(p.25)。

4. 五步公式里 (B) 和 (D) 分别是什么?

(B) 隐藏层线性部分 aⱼ = Σᵢ αⱼᵢxᵢ;(D) 输出层线性部分 b = Σⱼ βⱼzⱼ(p.28)。

5. αⱼᵢ 两个下标的顺序是什么?

到 j、从 i:第一个下标是隐藏节点,第二个是输入(p.28)。

6. 求和下标从 0 开始意味着什么?

有恒为 1 的 x₀、z₀,对应的 αⱼ₀、β₀ 是偏置(p.28)。

7. 人脸识别网络三层隐藏层各学到什么?

边缘、物体部件、完整物体(p.34)。

8. 网络设计的四项选择是什么?

隐藏层数、每层单元数、激活函数类型、目标函数形式(p.35)。

下一讲

每层的「非线性」用哪个函数,决定了深层网络能不能训练起来。下一页讲 sigmoid、tanh 和 ReLU 家族,见 L06c。

下一讲 →
L06c L06c 激活函数:为什么要非线性,为什么换掉 sigmoid

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。