← COMP5541 全部讲次
L06b · 第 8 周

L06b 通道、参数量与补边:卷积层怎么一层层叠起来

输入有好几个通道时核该怎么做,一层卷积有多少参数,以及层层堆叠时特征图越缩越小、怎么用补边保住尺寸。

一句话版

一个卷积核要和输入一样「厚」:输入有几个通道,核就有几层,几层的乘积加在一起只出一张图。想要几张输出图,就准备几个核。一层的参数量只看核的大小和通道数,和图有多大无关。

层层卷积时图会越缩越小,在四周补一圈数,就能让输出和输入一样大。

上一页 L06a 讲了单通道图上的卷积和输出尺寸公式 (N − k)/s + 1,这一页接着用。

先认识这几个词

词 全称 / 读法 一句人话
通道 channel 特征图的「层数」,彩色图有红绿蓝 3 个通道
C_in / H_in 输入通道数 进这一层的图有几层
C_out / H_out 输出通道数 这一层出几张图,等于核的个数
核深度 kernel depth 一个核有几层,必须等于 C_in
偏置 bias 每个核算完再加的一个常数,一个核一个
padding 边界填充 卷积前在图的四周补一圈数

一个类比:一叠透明胶片上找图案

把一张彩色照片想成三张叠在一起的透明胶片:红一张、绿一张、蓝一张。你要找的图案也画在三张小胶片上,和照片的三层一一对应。

每到一个位置,三层各自比一次,三个分数加起来,记成一个总分。扫完全图,得到一张总分表。

想找另一种图案,就再画一叠三层的小胶片,再扫一遍,再得一张总分表。几叠小胶片,就有几张总分表。

类比在哪里失效:

  • 胶片比的是「像不像」,卷积算的是点积,亮的地方分数天然高一些。
  • 第二层以后,输入的「胶片」不再是红绿蓝,而是上一层几十张特征图,层数可以很多。

从零讲起

1. 多个核与多输入通道

它解决什么问题

上一页的图只有一层,核也只有一层。真实的彩色图有红绿蓝 3 个通道;过了一层卷积以后,输出又变成很多张特征图叠在一起。下一层的核该怎么做?这一节回答这件事。

直觉

核要和输入一样厚。输入 3 层,核也做成 3 层,每层对每层。

一个核在一个位置上的算法不变:盖住的所有数和核里对应的数相乘,全部加起来,得一个数。只是现在「所有数」包括 3 层。

所以一个厚核扫完全图,只出一张图。要几张输出图,就准备几个厚核。

一步一步看

目标:用 3×3×3 的核扫 5×5×3 的输入,看三层乘积怎样加成一张图,核的个数又怎样决定输出通道数。

  1. 输入是 5×5×3:长 5、宽 5、3 个通道。

  2. 准备一个 3×3×3 的核:3×3 的小方块叠 3 层,深度和输入通道数一样。

  3. 核盖在左上角,三层各自逐格相乘,一共 27 个乘积,全部加起来,得到输出的第 1 格。

  4. 按步长 1 滑完全图,得到一张 3×3 的图。

    左边是 5×5×3 的输入,三层叠在一起;中间一个 3×3×3 的核,深度和输入通道数相同;三层乘积全部加起来只得到一张 3×3 的输出图,描成青绿;准备 H_out 个这样的核,就得到 3×3×H_out 的输出

  5. 再准备第二个、第三个……一共 H_out 个这样的核,每个出一张 3×3 的图,叠起来是 3×3×H_out。

怎么算

一个核的形状是 k × k × C_in。一层有 C_out 个核。输出形状是:

输出 = 边长 × 边长 × C_out,边长 = (N − k)/s + 1

意思是:长宽由输入边长、核边长、步长决定,和通道无关;通道数只由核的个数决定,和输入有几层无关。

课件把这一条写成「Need to compute」:求输出尺寸要知道三样,输入尺寸、核尺寸、stride。

代进上面的例子:(5 − 3)/1 + 1 = 3,输出 3×3×H_out。

常见误解

以为输入 3 个通道,就用 3 个二维核各扫各的,最后得到 3 张图

标准卷积层里,一个核同时盖住所有输入通道,各通道的乘积加在一起,只出一张图。输出几个通道取决于核的个数,与输入通道数无关。

以为核深度可以随便定

核深度必须等于输入通道数,否则对不上。真正能自己定的是核的边长 k 和核的个数 C_out。

试一下

输入 32×32×16,用 8 个 3×3 的核、步长 1、不补边。每个核多厚?输出多大?

每个核 3×3×16,厚 16,和输入通道一样。输出边长 (32 − 3)/1 + 1 = 30,8 个核,输出 30×30×8。

2. 一层卷积有多少参数

它解决什么问题

卷积层比全连接省参数,省多少要会算。考试常给一层的配置,问参数量。

直觉

参数就是核里的数,再加每个核一个偏置。

核在图上滑多少次都不加参数,滑到哪里都用同一套数。所以参数量只看核本身有多大、有几个,和图的长宽无关。

一步一步看

目标:数一层 4 个 3×3×3 核的权重和偏置,再把输入放大,看参数量只跟核有关、和图多大无关。

拿输入 5×5×3、3×3 的核、4 个核来数:

  1. 一个核有几个权重:3 × 3 × 3 = 27。

  2. 4 个核:27 × 4 = 108 个权重。

  3. 每个核一个偏置:4 个。

  4. 合计 108 + 4 = 112。

  5. 输入换成 100×100×3,核不变,再数一遍:

    输入 核 权重 偏置 合计
    5×5×3 3×3×3,4 个 108 4 112
    100×100×3 3×3×3,4 个 108 4 112

    图大了 400 倍,参数一个没多。

怎么算

参数量 = k × k × C_in × C_out + C_out

意思是:一个核有 k × k × C_in 个权重,一共 C_out 个核;后面加的 C_out 是每个核一个偏置。式子里没有输入的长和宽。

课件只算权重,写成 3 × 3 × H_in × H_out。题目没说要不要算偏置时,两个数都写出来最稳。

常见误解

以为图越大,卷积层参数越多

那是全连接。卷积核在全图共用,参数量和图的长宽无关。这正是卷积层比全连接省参数的原因。

算参数时忘了乘 C_in

核是立体的,深度 C_in。只写 k × k × C_out,等于把核当成一层,会少乘一个输入通道数。

试一下

输入 64 个通道,用 128 个 3×3 的核。权重多少?加偏置多少?

权重 3 × 3 × 64 × 128 = 73,728,加 128 个偏置共 73,856。

3. 层层堆叠:图越来越小

它解决什么问题

一层卷积只能找简单的图案。把卷积层一层接一层叠起来,后面的层在前面的特征图上再找图案。可每过一层,特征图就缩一圈。这一节看它缩得多快,以及怎么从输出反推核的大小。

直觉

步长 1、不补边时,核放不到图的最边上,输出边长比输入少 k − 1。

3×3 的核每层少 2,5×5 的核每层少 4,11×11 的核每层少 10。层数一多,图越缩越小,最后没东西可卷。

一步一步看

目标:用课件的填空题从 Conv1 的输出反推被遮住的 Conv2 核,看不补边时图怎样一层层变小。

课件里有一道填空题,正好演示这件事:

  1. 输入 128×128×3。

  2. Conv1 的核是 5×5×3×32,步长 1。边长 (128 − 5)/1 + 1 = 124,32 个核,输出 124×124×32。

  3. Conv2 的核被遮住了,只知道输出是 114×114×128,步长 1。

  4. 反推核边长:124 − k + 1 = 114,得 k = 11。

  5. 核深度跟着 Conv1 的输出通道走,是 32;核个数等于输出通道,是 128。Conv2 的核是 11×11×32×128。

    上一行不补边:128×128×3 经 5×5 的 Conv1 变成 124×124×32,再经 11×11 的 Conv2 变成 114×114×128,方块越来越小;下一行补边:两层输出都保持 128×128,描成青绿,Conv1 前每边补 2 格、Conv2 前每边补 5 格

怎么算

步长 1、不补边时:

输出边长 = N − k + 1

意思是:每过一层,边长少 k − 1。反过来,知道输入和输出边长,核边长 k = N − 输出 + 1。

每层的核形状写成 k × k × C_in × C_out 四个数:

  • 前两个 k 是核边长,从尺寸变化反推;
  • C_in 是上一层的输出通道数;
  • C_out 是这一层的输出通道数。

两层的权重:Conv1 是 5 × 5 × 3 × 32 = 2,400,加 32 个偏置 2,432;Conv2 是 11 × 11 × 32 × 128 = 495,616,加偏置 495,744。

常见误解

以为 Conv2 的核深度是 3

3 是原图的通道数。Conv2 的输入是 Conv1 的输出,有 32 个通道,所以核深度是 32。每一层的核深度都看紧挨着它的上一层。

试一下

输入 64×64×3,连续过三层 3×3 的卷积,步长 1、不补边。三层后边长是多少?

每层少 2:64 → 62 → 60 → 58,三层后是 58×58。

4. 补边:让尺寸保持不变

它解决什么问题

图越缩越小,层就叠不多。补边(padding)在卷积前给图的四周补一圈数,让输出和输入一样大。

直觉

核放不到最边上,是因为边上那一格没法当核的中心。四周补一圈,原来的边就变成了「里面」,核能把每一格都当中心算一次。

补什么数都行:课件给了两种,补 0,或者把边界上的值复制出去。

一步一步看

目标:给 5×5 的图四周补一圈 0 再卷积,看输出怎样回到原图大小,再套到课件的两层网络上。

用一张 5×5 的图、3×3 的核、步长 1:

  1. 不补边,输出缩成 3×3。

    5×5 的输入左上角圈着一个 3×3 的核,箭头指向 3×3 的输出,标注每过一层边长少 2,层数一多图越缩越小

  2. 四周各补一圈 0,图变成 7×7。原来的 5×5 在正中间。

    原来的 5×5 用虚线框住,四周补了一圈灰色的 0,整张图变成 7×7;旁边写每边补 1 格,也可以复制边界值

  3. 在 7×7 上卷积:(7 − 3)/1 + 1 = 5,输出回到 5×5,和原图一样大。

    在补过边的 7×7 上,3×3 的核盖住左上角,输出是 5×5,左上角那格描青绿,尺寸和原图一样

  4. 回到课件那个两层网络:Conv1 的核是 5,每边补 2,输入补成 132×132;Conv2 的核是 11,每边补 5,补成 138×138。两层输出都是 128×128。

怎么算

每边补 p 格以后,输入边长变成 N + 2p。步长 1 时:

输出边长 = N + 2p − k + 1

想让输出 = N,就要 2p − k + 1 = 0,所以 p = (k − 1)/2。

意思是:步长 1 时,总共要补 k − 1 格,左右两边平分,每边 (k − 1)/2。

代进去:k = 3 补 1,k = 5 补 2,k = 11 补 5。验算 (132 − 5) + 1 = 128,(138 − 11) + 1 = 128。

带补边的完整公式是 (N + 2p − k)/s + 1。

常见误解

以为补边会增加参数

补的是输入的数,核没有变,参数量不变。

以为补边就是为了让网络学到更多东西

它主要为了保持尺寸,让层能叠得更多。课件同时提醒另一面:特征图也需要尽快缩小以省计算,那是下一页 max-pooling 的任务。

试一下

步长 1、7×7 的核,想保持尺寸,每边补几格?输入 28×28 补完是多大?

(7 − 1)/2 = 3 格。补完 28 + 6 = 34,即 34×34;卷积后 (34 − 7)/1 + 1 = 28,尺寸不变。

把它们串起来

真实的输入有好几个通道。核要和输入一样厚,几层的乘积加在一起,一个核只出一张图;几个核就有几个输出通道。所以一层的形状写成 k × k × C_in × C_out,参数量就是这四个数相乘,再加上每个核一个偏置,和图的长宽无关。

把这样的层一层层叠起来,每一层的 C_in 都等于上一层的 C_out。不补边时,步长 1 的每一层都会让边长少 k − 1,层一多就缩没了。每边补 (k − 1)/2 格,尺寸就能保住。

保住尺寸以后,新问题出来了:特征图一直这么大,计算太贵。下一页的 max-pooling 专门负责把图快速缩小。

课件里的坑

  • [留白待算] 输出写成「?×?×H_out」,是留给学生算的,答案是 3×3×H_out(p.15)
  • [被遮住的核] Conv2 的核被黑框挡住,要从 124 → 114 反推出 11×11×32×128,答案印在课件后一页(p.17–18)
  • [偏置没算] 课件的参数量只算权重。题目没说时,最好同时写出「只算权重」和「加偏置」两个数(p.15)
  • [补什么] padding 可以补 0(zeros),也可以复制边界值(copy boundary),两种课件都认(p.18)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写参数量公式 k × k × C_in × C_out + C_out 和补边公式 (k − 1)/2;再把 128×128×3 那个两层网络从头算一遍,每层输出尺寸、参数量、补几格都写出来;最后做变式题。

必背

  1. 核深度必须等于输入通道数;有几个核就有几个输出通道。
  2. 卷积层参数量 = k×k×C_in×C_out(偏置另加 C_out),和输入长宽无关。
  3. 求输出尺寸要知道三样:输入尺寸、核尺寸、stride;输出通道数 = 核的个数。
  4. 不补边时每过一层(stride 1)边长少 k − 1;层数一多图越缩越小。
  5. stride 1 时每边补 (k − 1)/2 可以保持尺寸;padding 可以补 0 或复制边界。

课件例题

例 1(课件 p.15):多输入通道

题面:输入是 5×5×3 的特征图。每组核是 3×3×H_in,一组产生一张输出图,一共 H_out 组,步长 1。求输出尺寸和总参数量。

提示

先确定 H_in 是多少,它由输入决定。输出边长用公式算,输出通道数等于组数。

解答
  1. H_in = 3,所以每组核是 3×3×3。
  2. 输出边长 (5 − 3)/1 + 1 = 3,输出 3×3×H_out。
  3. 参数量 3×3×H_in×H_out = 27·H_out(不含偏置)。

例 2(课件 p.17):填空,两层卷积

题面:输入 128×128×3。Conv1 的核是 5×5×3×32,步长 1,输出是多少?Conv2 步长 1,输出 114×114×128,Conv2 的核是多少?两层各有多少权重?

提示

Conv2 的核有四个数:核边长、核边长、核深度、核个数。核深度看 Conv1 的输出通道,核个数看 Conv2 的输出通道。

解答
  1. Conv1:(128 − 5)/1 + 1 = 124,输出 124×124×32。
  2. Conv2:124 − k + 1 = 114,k = 11;深度 32,个数 128,核是 11×11×32×128。
  3. 权重:Conv1 5×5×3×32 = 2,400,加偏置 2,432;Conv2 11×11×32×128 = 495,616,加偏置 495,744。

例 3(课件 p.18):补边让尺寸不变

题面:同一个网络,想让两层卷积的输出都保持 128×128。输入和 Conv1 的输出各要补成多大?

提示

步长 1 时,输出边长 = 补完后的边长 − k + 1。让它等于 128,反推补完后的边长。

解答
  1. Conv1 的核是 5:补成 (128 + 4)×(128 + 4)×3,每边 2 格,输出 128×128×32。
  2. Conv2 的核是 11:补成 (128 + 10)×(128 + 10)×32,每边 5 格,输出 128×128×128。
  3. 规律:每边补 (k − 1)/2,补 0 或复制边界都可以。

例 4(课件 p.32 Q7):标准卷积层怎么处理多个输入通道(如 RGB)?

提示

回到「一个核出一张图」。有的选项说的是每个通道各自独立处理。

解答

选 D:核的深度等于输入通道数,各通道的乘积加起来得到一张输出图。B 描述的是每个通道各自独立处理,和标准卷积层的规则不符。

完整例题

题面(自编):输入 64×64×3 的彩色图,依次经过三层卷积,步长都是 1:Conv1 用 16 个 3×3 的核,每边补 1 格;Conv2 用 32 个 5×5 的核,不补边;Conv3 用 64 个 3×3 的核,不补边。求每层的核形状、输出尺寸、参数量(含偏置)。如果想让 Conv2 输出保持 64×64,要怎么改?

解法:

  1. Conv1:核深度等于输入通道 3,核形状 3×3×3×16。输出边长 (64 + 2 − 3)/1 + 1 = 64,输出 64×64×16。参数 3×3×3×16 + 16 = 448。
  2. Conv2:核深度等于上一层的 16,核形状 5×5×16×32。输出边长 64 − 5 + 1 = 60,输出 60×60×32。参数 5×5×16×32 + 32 = 12,832。
  3. Conv3:核深度 32,核形状 3×3×32×64。输出边长 60 − 3 + 1 = 58,输出 58×58×64。参数 3×3×32×64 + 64 = 18,496。
  4. 让 Conv2 保持 64×64:每边补 (5 − 1)/2 = 2 格。参数量不变,补边不加参数。

答案:64×64×16、60×60×32、58×58×64;参数 448、12,832、18,496;Conv2 每边补 2 格。

答题格式:每层一行,依次写「核形状 / 输出尺寸公式 / 输出 / 参数量公式 / 参数量」,核深度单独标出是从哪一层来的。

变式题(先自己做)

(1) MNIST 图 28×28×1,Conv1 用 8 个 5×5 的核、步长 1、不补边,求输出和参数量(含偏置)。 (2) 接着 Conv2 用 16 个 3×3 的核、步长 1、每边补 1 格,求输出和参数量。 (3) 一层卷积输入 40×40×10,输出 36×36×20,步长 1、不补边。核形状是什么?

提示

(1) 输入只有 1 个通道,核深度也是 1。(2) 核深度跟着 Conv1 的输出通道走。(3) 从边长变化反推 k,再看通道。

判分点与答案(非官方评分标准)

判分点:① 输出尺寸公式用对;② 核深度等于输入通道数;③ 偏置每个输出通道一个;④ 补边不改变参数量。

(1) (28 − 5)/1 + 1 = 24,输出 24×24×8;参数 5×5×1×8 + 8 = 208。

(2) (24 + 2 − 3)/1 + 1 = 24,输出 24×24×16;参数 3×3×8×16 + 16 = 1,168。

(3) 40 − k + 1 = 36,k = 5;核深度 10,个数 20,核形状 5×5×10×20。

闪卡自测

1. 输入有 H_in 个通道,核的深度是多少?输出通道数由什么决定?

核深度等于 H_in;输出通道数等于核的组数 H_out(p.15)。

2. 卷积层参数量怎么算?

k×k×C_in×C_out,偏置另加 C_out;和输入长宽无关(p.15)。

3. 求输出尺寸要知道哪三样?

输入尺寸、核尺寸、stride(p.15)。

4. 128×128×3 过 5×5×3×32 的卷积、步长 1、不补边,输出多大?

124×124×32(p.17–18)。

5. 从 124 到 114,Conv2 的核是什么?

11×11×32×128(p.17–18)。

6. 11×11 的核、步长 1,每边补几格能保持尺寸?补什么?

5 格;补 0 或复制边界(p.18)。

7. 补边会不会增加参数?

不会。补的是输入,核没变。

下一讲

补边保住了尺寸,可特征图一直很大,计算太贵。下一页讲 max-pooling 怎么把图快速缩小,以及卷积、ReLU、pooling 怎么组装成一个典型的 CNN:L06c。

下一讲 →
L06c L06c max-pooling 与典型 CNN:把图快速缩小,再把零件装起来

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。