← COMP5541 全部讲次
L04b · 第 6 周

L04b 搭网络:加宽加深、选激活函数、配输出层

隐藏层能解决 XOR 之后,网络怎么搭:加宽和加深各是什么、参数怎么一层层数,激活函数为什么必须是弯的,输出层和损失函数怎么按任务配对。

一句话版

神经网络就是把很多个神经元横着并排(加宽)、竖着叠起来(加深)。参数按层数,每层是「(上一层宽度 + 1)× 本层宽度」。隐藏层的激活函数必须是弯的,输出层接什么激活、配什么损失,由任务是回归还是分类决定。

上一页 L04a 讲了为什么需要隐藏层。这一页讲网络怎么搭起来。

先认识这几个词

词 全称 / 读法 一句人话
宽度 width 一层里有几个神经元
深度 depth 网络有几层
全连接 fully connected 上一层每个神经元都连到下一层每个神经元
偏置 bias 每个神经元自带的那个「基础分」,也是一个参数
ReLU Rectified Linear Unit,读「瑞路」 负数变 0、正数原样输出的激活函数
tanh hyperbolic tangent,双曲正切 形状像 sigmoid,但输出在 −1 到 1 之间
softmax 读「软 max」 把一组得分变成一组加起来为 1 的概率
one-hot 独热编码 真实类别那一位是 1、其余全是 0 的标签写法

一个类比:搭一支评审团

一个评审员看一份材料打一个分,这是一个神经元。

请三个评审员并排各看一遍,这是加宽:同一层多了几个人,各自从不同角度打分。让第一轮评审的打分再交给第二轮评审去看,这是加深:后面的人看的是前面的人的结论。

每个评审员要记住对每份输入材料的看重程度(权重),还有自己的基础分(偏置)。评审团的「参数」就是所有这些数字加起来。

最后一轮要交出结果。如果要报一个数(价格),直接报总分;如果要在几个候选里选一个,就要把分数换成「各有几成把握」,加起来正好十成。这一步就是输出层的激活。

类比在哪里失效:

  1. 真评审员会讨论、会改主意。网络里每个神经元只做一次加权求和加激活,前向时信息只往一个方向流。
  2. 评审员的看重程度是自己定的。网络的权重是训练出来的,开始时是随机数。

从零讲起

1. 加宽、加深与数参数

它解决什么问题

一个神经元不够,就要多放几个。放的方式只有两种:同一层里并排多放(加宽),或者再往上叠一层(加深)。不管怎么放,都得知道网络里一共有多少个要学的数,因为参数越多,要的数据和算力越多。

直觉

参数存在两个地方。一是连线上的权重,两层全连接时,每一对神经元之间都有一条线,所以线数是两层宽度相乘。二是每个神经元自己的偏置,一个神经元一个。

所以数参数时,一次只看相邻两层。可以把偏置想成上一层多了一个永远输出 1 的神经元,于是每层的参数就是「(上一层宽度 + 1)× 本层宽度」。

一步一步看

目标:把 i-3-2-3-1 网络的连线和偏置一组组数完,看每组都是上一层加 1 再乘本层宽度。

下面这个网络有 i 个输入,三个隐藏层的宽度依次是 3、2、3,输出 1 个。每一帧把正在数的那一组连线描成青绿。

  1. 输入层到隐藏层 1:每个隐藏神经元连 i 个输入,再加 1 个偏置。

    第 1 步:一个 i-3-2-3-1 的全连接网络,从左到右是输入 x₁ 到 xᵢ、隐藏 1、隐藏 2、隐藏 3、输出 y;输入层到隐藏 1 的所有连线描成青绿,底部写这一组 (i + 1) × 3 = 3i + 3

  2. 隐藏层 1 到隐藏层 2:上一层 3 个加 1 个偏置,乘本层 2 个。

    第 2 步:同一个网络,第一组连线变成灰色表示数完了,隐藏 1 到隐藏 2 的连线描成青绿,底部写这一组 (3 + 1) × 2 = 8

  3. 隐藏层 2 到隐藏层 3:(2 + 1) × 3 = 9。

    第 3 步:隐藏 2 到隐藏 3 的连线描成青绿,前两组已数完画成灰色,底部写这一组 (2 + 1) × 3 = 9

  4. 隐藏层 3 到输出:(3 + 1) × 1 = 4。四组加起来就是总数。

    第 4 步:隐藏 3 到输出 y 的三条连线描成青绿,底部写这一组 (3 + 1) × 1 = 4,右下角写合计 3i + 24

怎么算

带偏置时:

总数 = (i + 1)·3 + (3 + 1)·2 + (2 + 1)·3 + (3 + 1)·1 = 3i + 3 + 8 + 9 + 4 = 3i + 24

不带偏置时,每层去掉那个 +1:

总数 = i·3 + 3·2 + 2·3 + 3·1 = 3i + 15

意思是:把相邻两层的宽度两两相乘再加起来,就是连线数;每个非输入的神经元再加一个偏置。i = 4 时,不带偏置是 27 个,带偏置是 36 个。

一般地,宽度依次是 n₀、n₁、…、n_L 的全连接网络:

参数总数 = (n₀ + 1)·n₁ + (n₁ + 1)·n₂ + … + (n_{L−1} + 1)·n_L

常见误解

以为参数个数等于神经元个数

参数存在连线上(权重)和神经元上(偏置),神经元本身只是计算的地方。两层全连接时,连线数是两层宽度的乘积,比神经元个数多得多。

给输入层也加了偏置

输入层只是把数据递进来,不做计算,没有偏置。偏置跟着「做计算的神经元」走:隐藏层和输出层每个神经元一个。

试一下

输入 5 维,隐藏层宽度 4、3,输出 2 个,都带偏置,共多少参数?

(5 + 1) × 4 + (4 + 1) × 3 + (3 + 1) × 2 = 24 + 15 + 8 = 47。

2. 激活函数:为什么必须是弯的

它解决什么问题

上一页说过,隐藏层的本事全在非线性激活上。这里回答两件事:常用的激活函数长什么样,为什么一定要弯。

直觉

直线接直线还是直线。如果每个神经元只做加权求和,第二层拿到的是第一层的线性组合,第二层算出来的又是一个线性组合,叠一百层也只等于一层。

激活函数在每一层后面「折一下」。有了这些折痕,叠起来的网络才能拼出弯曲的边界。

三个常用的激活函数,折法不同:sigmoid 和 tanh 是平滑的 S 形,ReLU 是在 0 处折一个角。

一步一步看

目标:把 −2、0、2 代进 sigmoid、ReLU、tanh 比输出,看三者形状各有什么特点,又为什么都不是线性的。

  1. 先看三条曲线的形状:sigmoid 和 tanh 是 S 形,ReLU 在负半轴是 0、正半轴是斜线。

    三块面板依次画 sigmoid、ReLU、tanh 三条青绿曲线:sigmoid 是值域 0 到 1 的 S 形,ReLU 在负半轴贴着横轴、正半轴是一条斜线,tanh 是值域 −1 到 1 的 S 形;三条都不是直线

  2. 取三个输入 −2、0、2,分别代进去,对比输出:

    输入 sigmoid ReLU tanh
    −2 0.1192 0 −0.9640
    0 0.5 0 0
    2 0.8808 2 0.9640
  3. 观察:sigmoid 的输出都是正数;tanh 关于原点对称,正负成对;ReLU 对正数原样放行,对负数一律给 0。

  4. 三者都不满足「输入翻倍,输出也翻倍」,所以都是非线性的。

怎么算

三个公式:

  • sigmoid(x) = 1 / (1 + e⁻ˣ)
  • ReLU(x) = max(0, x)
  • tanh(x) = 2 / (1 + e⁻²ˣ) − 1

意思是:sigmoid 把任意数压进 0 到 1;ReLU 只砍掉负数;tanh 把任意数压进 −1 到 1。

tanh 和 sigmoid 其实是一家:tanh(x) = 2·σ(2x) − 1。也就是先把输入放大 2 倍过 sigmoid,再把 (0,1) 拉伸平移到 (−1,1)。验算 x = 1:2 / (1 + e⁻²) − 1 ≈ 0.7616,与 tanh(1) 一致。

为什么一定要非线性,可以直接展开看。两层都不加激活时:

y = w₂(w₁x + b₁) + b₂ = (w₂w₁)x + (w₂b₁ + b₂)

意思是:两层合起来仍是「某个数乘 x 再加某个数」,和一层没有区别。

常见误解

以为输出层也必须带非线性

课件写的是输出层 may not 带非线性。回归任务常常直接输出加权和。必须带非线性的是隐藏层。

以为 ReLU 只是一条直线,不算非线性

ReLU 在 0 处折了一个角,负半轴和正半轴是两段不同的直线,合起来不是一条直线。很多个 ReLU 叠在一起,可以拼出任意折线形状。

试一下

算 ReLU(−3)、ReLU(1.5)、sigmoid(0)、tanh(0)。

ReLU(−3) = 0,ReLU(1.5) = 1.5,sigmoid(0) = 0.5,tanh(0) = 0。

3. 输出层怎么配激活和损失

它解决什么问题

隐藏层定好了,最后一层接什么、损失用什么?这取决于任务要输出什么。要报一个数,就是回归;要在两类里选一个,是二分类;要在 K 类里选一个,是多分类。三种任务各有固定搭配。

从哪来(补充)

softmax 这个名字是 John S. Bridle 在 1989 年的两篇会议论文里起的。同一个函数更早出现在统计力学里,叫 Boltzmann 分布,可以追到 Boltzmann 1868 年的工作。

出处:Wikipedia: Softmax function

直觉

回归要的是一个任意实数,输出层直接给加权和就行;如果目标不可能为负(价格、计数),可以套一个 ReLU 保证不出负数。

二分类要的是「属于正类的概率」,一个 0 到 1 的数,sigmoid 正好干这个。

多分类要的是 K 个概率,每个都是正数,加起来是 1。softmax 先用 exp 把每个得分变成正数,再除以总和。得分越高,分到的概率越大。

损失跟着走:回归量距离,用 MSE 或 MAE;分类量「真实类别的概率有多低」,用交叉熵。

一步一步看

目标:拿三类得分 (2, 1, 0) 走一遍 softmax 再算交叉熵,看得分怎样变成概率,预测越偏损失越大。

拿三类得分 (2, 1, 0) 走一遍 softmax。

  1. 输出层给出三个原始得分 2、1、0。它们可正可负,加起来不是 1,还不能当概率。

    第 1 步:三根柱子依次是第 1 类、第 2 类、第 3 类的原始得分 2、1、0,右边说明原始得分可正可负,加起来不是 1

  2. 每个得分取 exp:7.389、2.718、1.000。全变成正数,总和 11.107。

    第 2 步:三根柱子变成 exp 之后的 7.389、2.718、1.000,右边说明 exp 之后全是正数,和是 11.107

  3. 各除以总和,得 0.665、0.245、0.090,加起来是 1。真实类别是第 1 类时,交叉熵 = −ln 0.665 ≈ 0.408。

    第 3 步:三根柱子是除以总和后的概率 0.665、0.245、0.090,第 1 类的柱子描成青绿;底部写真实类别是第 1 类时 CE = −ln 0.665 ≈ 0.408

  4. 如果真实类别是第 3 类,交叉熵 = −ln 0.090 ≈ 2.408。预测越偏,损失越大。

怎么算

三种任务的配对:

任务 输出层激活 损失
回归 不加,或加 ReLU MSE 或 MAE
二分类 sigmoid 交叉熵 CE
多分类 softmax 交叉熵 CE

softmax 和多分类交叉熵的公式:

  • softmax(xᵢ) = exp(xᵢ) / Σⱼ exp(xⱼ),j 取遍全部 K 个类别
  • CE = −Σᵢ ȳᵢ · ln yᵢ

意思是:softmax 先把每个得分变成正数,再按比例分掉总量 1。ȳ 是 one-hot 标签,只有真实类别那一位是 1,所以 CE 的求和里只剩一项,就是「真实类别那个概率取负对数」。概率越接近 1,损失越接近 0。

回归的两个损失:

  • MSE = (1/N) Σᵢ (yᵢ − ȳᵢ)²
  • MAE = (1/N) Σᵢ |yᵢ − ȳᵢ|

常见误解

以为多分类时每类各接一个 sigmoid 就行

每类一个 sigmoid,K 个输出各自在 0 到 1 之间,但加起来不一定是 1,不能当成「选一个类」的概率。softmax 把 K 个输出绑在一起,一个变大,其余必然变小。

以为分类也可以用 MSE

上一讲已经看到,sigmoid 配 MSE 时,预测很错的地方梯度反而接近 0,学得很慢。分类配交叉熵是这个原因。

试一下

三类得分改成 (1, 0, −1),softmax 结果是多少?和 (2, 1, 0) 比有什么发现?

exp 依次是 2.718、1.000、0.368,总和 4.086,softmax = (0.665, 0.245, 0.090),和 (2, 1, 0) 完全一样。所有得分同时加减同一个数,softmax 不变,因为分子分母同乘了同一个 exp。

把它们串起来

隐藏层能解决 XOR 之后,剩下的是搭网络的手艺。

加宽和加深是两种放神经元的办法。不管怎么放,参数都按相邻两层来数:上一层宽度加 1,乘本层宽度,逐层加起来。

隐藏层后面一定接一个弯的激活函数,sigmoid、ReLU、tanh 都行。没有这一步,再深的网络也只是一层线性模型。

输出层看任务配:回归直接输出(或加 ReLU)配 MSE/MAE,二分类配 sigmoid 和交叉熵,多分类配 softmax 和交叉熵。

结构搭好以后,参数还是靠梯度下降去找。问题变成:网络这么多层套在一起,损失对每个权重的导数怎么求。下一页从链式法则讲起。

课件里的坑

  • [下标错误] p.22 softmax 分母的求和写成 j 从 0 到 K,共 K+1 项,而同页 CE 是 i 从 1 到 K,共 K 项。K 个类别时两处应对同一组 K 项求和,考试按「对所有类别求和」理解即可(p.22)
  • [措辞] p.18 写的是输出层 may not 带非线性,意思是「可以不带」,不是「不能带」。回归任务目标不为负时,输出层加 ReLU 也是课件认可的做法(p.18、p.22)
  • [读图提醒] p.12 的加宽图没画偏置。课件只问「多少参数」时,先看清题目是否计偏置,两种答案都写出来最稳(p.12)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上画一个 i-3-2-3-1 的网络,自己数一遍带偏置和不带偏置的参数;再画出 sigmoid、ReLU、tanh 三条曲线,标出值域;然后默写三种任务的输出层配对表;最后把 (2, 1, 0) 的 softmax 手算一遍。

必背

  1. 全连接层参数个数 =(上一层宽度 + 1)× 本层宽度,不计偏置时去掉 +1。
  2. 加宽是同一层并排放更多神经元,加深是往上叠更多层;层数叫深度,每层神经元数叫宽度。
  3. 三种常用激活:sigmoid 值域 (0,1),ReLU 把负数截成 0,tanh 值域 (−1,1)。
  4. 隐藏层必须带非线性激活,输出层可以不带(课件原文 may not)。
  5. 输出层配对:回归配线性或 ReLU 加 MSE/MAE,二分类配 sigmoid 加 CE,多分类配 softmax 加 CE。
  6. softmax 把 K 个得分变成 K 个加起来为 1 的正数,再和 one-hot 标签一起算交叉熵。

课件例题

例 1(课件 p.12):把逻辑回归加宽,数参数

题面:输入 x₁…xᵢ 共 i 个,全部连到 n 个隐藏神经元,每个隐藏神经元是 Σ 后接 σ;n 个输出再进一个输出神经元。问一共多少个参数。

右上角小图是逻辑回归:输入 x₁…xᵢ 经权重 w₁…wᵢ 进 Σ 再过 σ 得到 y,与目标 ȳ 用 CE 比较。下方大图把它加宽:输入 x₁…xᵢ 全部连到 n 个隐藏神经元 h₁…hₙ,每个都是 Σ 后接 σ;n 个隐藏输出再全部连到一个输出神经元。输出端两种用法,分类是 Σ→σ→y 配 CE,回归是 Σ→y 配 MSE。红字问 How many parameters?
图片来源:COMP5541 L04_Deep Neural Networks - Part 1.pptx, p.12
提示

分两组数:输入到隐藏层一组,隐藏层到输出一组。先按图(没画偏置)数一遍,再给每个 Σ 加上偏置数一遍。

解答
  1. 图里没画偏置。输入到隐藏层每个神经元 i 个权重,共 i·n 个;隐藏层到输出 n 个。合计 n(i+1)。
  2. 每个 Σ 都带偏置时,隐藏层 (i+1)·n,输出层 n+1,合计 (i+1)n + (n+1)。
  3. 验算:i = 2、n = 2 时不含偏置 6 个、含偏置 9 个,正好是上一页 p.16 回归网络的 w₁…w₉。

例 2(课件 p.13):把网络加深,数参数

题面:输入 i 个,三个隐藏层依次 3、2、3 个神经元,输出 1 个,相邻层全连接。问一共多少个参数。

右上角是逻辑回归小图。下方大图把网络加深:输入层 x₁…xᵢ,隐藏层 1 有 3 个神经元,隐藏层 2 有 2 个,隐藏层 3 有 3 个,每个神经元都是 Σ 后接 σ,相邻层之间全连接;输出层 1 个神经元,分类用 Σ→σ→y 配 CE,回归用 Σ→y 配 MSE。红字问 How many parameters?
图片来源:COMP5541 L04_Deep Neural Networks - Part 1.pptx, p.13
提示

一次只看相邻两层,用「(上一层宽度 + 1)× 本层宽度」,四组加起来。

解答
  1. 不含偏置:3i + 3·2 + 2·3 + 3·1 = 3i + 15。
  2. 含偏置:(i+1)·3 + 4·2 + 3·3 + 4·1 = 3i + 24。
  3. 例如 i = 4 时分别是 27 和 36。

完整例题

题面(改编自课件 p.13 和 p.22):一个三分类网络,输入 4 维,三个隐藏层宽度依次 3、2、3,输出层 3 个神经元接 softmax,所有神经元带偏置。(1) 共多少参数?(2) 某样本输出层得分为 (2, 1, 0),求 softmax 概率;(3) 真实类别分别是第 1 类和第 3 类时,交叉熵各是多少?

约定:exp 和 ln 保留三位小数。

解法:

  1. 输入到隐藏 1:(4 + 1) × 3 = 15。
  2. 隐藏 1 到隐藏 2:(3 + 1) × 2 = 8。
  3. 隐藏 2 到隐藏 3:(2 + 1) × 3 = 9。
  4. 隐藏 3 到输出:(3 + 1) × 3 = 12。合计 15 + 8 + 9 + 12 = 44。
  5. 得分取 exp:e² = 7.389,e¹ = 2.718,e⁰ = 1.000,总和 = 11.107。
  6. softmax = 7.389 / 11.107, 2.718 / 11.107, 1.000 / 11.107 = (0.665, 0.245, 0.090)。
  7. 真实类别是第 1 类:ȳ = (1, 0, 0),CE = −ln 0.665 ≈ 0.408。
  8. 真实类别是第 3 类:ȳ = (0, 0, 1),CE = −ln 0.090 ≈ 2.408。

要点:输出层从 1 个变成 3 个,最后一组参数从 4 变成 12,前三组不变。交叉熵只看真实类别那一个概率。

答题格式:参数逐层列式再相加;softmax 先列 exp、再列总和、最后列商;CE 写出 ȳ 再代入。

变式题(先自己做)

改编自课件 p.13 和 p.22。输入 6 维,两个隐藏层宽度 5、4,输出 3 类 softmax,都带偏置。(1) 共多少参数?不带偏置呢?(2) 输出得分 (3, 1, 0),求 softmax 和真实类别为第 2 类时的交叉熵。

提示

三组相邻层,每组「(上一层 + 1)× 本层」。softmax 先算 e³ ≈ 20.086。

判分点与答案(非官方)

判分点:① 三组参数分别写对;② 不带偏置时去掉每组的 +1;③ softmax 三个值加起来是 1;④ CE 取的是第 2 类的概率。

  1. 带偏置:(6 + 1) × 5 + (5 + 1) × 4 + (4 + 1) × 3 = 35 + 24 + 15 = 74。
  2. 不带偏置:6 × 5 + 5 × 4 + 4 × 3 = 30 + 20 + 12 = 62。
  3. exp:20.086、2.718、1.000,总和 23.804;softmax ≈ (0.844, 0.114, 0.042)。
  4. 真实类别第 2 类:CE = −ln 0.114 ≈ 2.17。

闪卡自测

1. 加宽和加深各指什么?

加宽是同一层多放神经元,加深是多叠几层。层数叫深度,每层神经元数叫宽度(p.12、p.13)。

2. 输入 5 维,隐藏层宽度 4、3,输出 2 个,都带偏置,共多少参数?

(5+1)×4 + (4+1)×3 + (3+1)×2 = 24 + 15 + 8 = 47。

3. i-3-2-3-1 网络不带偏置有多少参数?

3i + 15;带偏置是 3i + 24(p.13)。

4. sigmoid、ReLU、tanh 的值域各是什么?

sigmoid (0,1);ReLU [0, +∞),负数截成 0;tanh (−1,1)(p.18)。

5. tanh 和 sigmoid 是什么关系?

tanh(x) = 2σ(2x) − 1。

6. 多分类输出层用什么激活和损失?

softmax 加交叉熵(p.22)。

7. 回归任务什么时候在输出层加 ReLU?

目标值不可能为负时(价格、计数),加 ReLU 保证预测不为负(p.22)。

8. p.22 的 softmax 公式哪里有问题?

分母求和写成 j 从 0 到 K,多了一项;应和 CE 一样对 K 个类别求和(p.22)。

9. 判断:输出层一定要带非线性激活。

错。课件写输出层 may not 带非线性,回归常直接输出加权和(p.18)。

下一讲

本讲下一页从梯度下降要什么讲起,补上链式法则,再把示例网络的每个局部导数列出来:L04c。

下一讲 →
L04c L04c 链式法则:把多层网络的导数拆成一段一段

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。