L06b 通道、参数量与补边:卷积层怎么一层层叠起来
输入有好几个通道时核该怎么做,一层卷积有多少参数,以及层层堆叠时特征图越缩越小、怎么用补边保住尺寸。
一句话版
一个卷积核要和输入一样「厚」:输入有几个通道,核就有几层,几层的乘积加在一起只出一张图。想要几张输出图,就准备几个核。一层的参数量只看核的大小和通道数,和图有多大无关。
层层卷积时图会越缩越小,在四周补一圈数,就能让输出和输入一样大。
上一页 L06a 讲了单通道图上的卷积和输出尺寸公式 (N − k)/s + 1,这一页接着用。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 通道 | channel | 特征图的「层数」,彩色图有红绿蓝 3 个通道 |
| C_in / H_in | 输入通道数 | 进这一层的图有几层 |
| C_out / H_out | 输出通道数 | 这一层出几张图,等于核的个数 |
| 核深度 | kernel depth | 一个核有几层,必须等于 C_in |
| 偏置 | bias | 每个核算完再加的一个常数,一个核一个 |
| padding | 边界填充 | 卷积前在图的四周补一圈数 |
一个类比:一叠透明胶片上找图案
把一张彩色照片想成三张叠在一起的透明胶片:红一张、绿一张、蓝一张。你要找的图案也画在三张小胶片上,和照片的三层一一对应。
每到一个位置,三层各自比一次,三个分数加起来,记成一个总分。扫完全图,得到一张总分表。
想找另一种图案,就再画一叠三层的小胶片,再扫一遍,再得一张总分表。几叠小胶片,就有几张总分表。
类比在哪里失效:
- 胶片比的是「像不像」,卷积算的是点积,亮的地方分数天然高一些。
- 第二层以后,输入的「胶片」不再是红绿蓝,而是上一层几十张特征图,层数可以很多。
从零讲起
1. 多个核与多输入通道
它解决什么问题
上一页的图只有一层,核也只有一层。真实的彩色图有红绿蓝 3 个通道;过了一层卷积以后,输出又变成很多张特征图叠在一起。下一层的核该怎么做?这一节回答这件事。
直觉
核要和输入一样厚。输入 3 层,核也做成 3 层,每层对每层。
一个核在一个位置上的算法不变:盖住的所有数和核里对应的数相乘,全部加起来,得一个数。只是现在「所有数」包括 3 层。
所以一个厚核扫完全图,只出一张图。要几张输出图,就准备几个厚核。
一步一步看
目标:用 3×3×3 的核扫 5×5×3 的输入,看三层乘积怎样加成一张图,核的个数又怎样决定输出通道数。
-
输入是 5×5×3:长 5、宽 5、3 个通道。
-
准备一个 3×3×3 的核:3×3 的小方块叠 3 层,深度和输入通道数一样。
-
核盖在左上角,三层各自逐格相乘,一共 27 个乘积,全部加起来,得到输出的第 1 格。
-
按步长 1 滑完全图,得到一张 3×3 的图。
-
再准备第二个、第三个……一共 H_out 个这样的核,每个出一张 3×3 的图,叠起来是 3×3×H_out。
怎么算
一个核的形状是 k × k × C_in。一层有 C_out 个核。输出形状是:
输出 = 边长 × 边长 × C_out,边长 = (N − k)/s + 1
意思是:长宽由输入边长、核边长、步长决定,和通道无关;通道数只由核的个数决定,和输入有几层无关。
课件把这一条写成「Need to compute」:求输出尺寸要知道三样,输入尺寸、核尺寸、stride。
代进上面的例子:(5 − 3)/1 + 1 = 3,输出 3×3×H_out。
常见误解
以为输入 3 个通道,就用 3 个二维核各扫各的,最后得到 3 张图
标准卷积层里,一个核同时盖住所有输入通道,各通道的乘积加在一起,只出一张图。输出几个通道取决于核的个数,与输入通道数无关。
以为核深度可以随便定
核深度必须等于输入通道数,否则对不上。真正能自己定的是核的边长 k 和核的个数 C_out。
试一下
输入 32×32×16,用 8 个 3×3 的核、步长 1、不补边。每个核多厚?输出多大?
每个核 3×3×16,厚 16,和输入通道一样。输出边长 (32 − 3)/1 + 1 = 30,8 个核,输出 30×30×8。
2. 一层卷积有多少参数
它解决什么问题
卷积层比全连接省参数,省多少要会算。考试常给一层的配置,问参数量。
直觉
参数就是核里的数,再加每个核一个偏置。
核在图上滑多少次都不加参数,滑到哪里都用同一套数。所以参数量只看核本身有多大、有几个,和图的长宽无关。
一步一步看
目标:数一层 4 个 3×3×3 核的权重和偏置,再把输入放大,看参数量只跟核有关、和图多大无关。
拿输入 5×5×3、3×3 的核、4 个核来数:
-
一个核有几个权重:3 × 3 × 3 = 27。
-
4 个核:27 × 4 = 108 个权重。
-
每个核一个偏置:4 个。
-
合计 108 + 4 = 112。
-
输入换成 100×100×3,核不变,再数一遍:
输入 核 权重 偏置 合计 5×5×3 3×3×3,4 个 108 4 112 100×100×3 3×3×3,4 个 108 4 112 图大了 400 倍,参数一个没多。
怎么算
参数量 = k × k × C_in × C_out + C_out
意思是:一个核有 k × k × C_in 个权重,一共 C_out 个核;后面加的 C_out 是每个核一个偏置。式子里没有输入的长和宽。
课件只算权重,写成 3 × 3 × H_in × H_out。题目没说要不要算偏置时,两个数都写出来最稳。
常见误解
以为图越大,卷积层参数越多
那是全连接。卷积核在全图共用,参数量和图的长宽无关。这正是卷积层比全连接省参数的原因。
算参数时忘了乘 C_in
核是立体的,深度 C_in。只写 k × k × C_out,等于把核当成一层,会少乘一个输入通道数。
试一下
输入 64 个通道,用 128 个 3×3 的核。权重多少?加偏置多少?
权重 3 × 3 × 64 × 128 = 73,728,加 128 个偏置共 73,856。
3. 层层堆叠:图越来越小
它解决什么问题
一层卷积只能找简单的图案。把卷积层一层接一层叠起来,后面的层在前面的特征图上再找图案。可每过一层,特征图就缩一圈。这一节看它缩得多快,以及怎么从输出反推核的大小。
直觉
步长 1、不补边时,核放不到图的最边上,输出边长比输入少 k − 1。
3×3 的核每层少 2,5×5 的核每层少 4,11×11 的核每层少 10。层数一多,图越缩越小,最后没东西可卷。
一步一步看
目标:用课件的填空题从 Conv1 的输出反推被遮住的 Conv2 核,看不补边时图怎样一层层变小。
课件里有一道填空题,正好演示这件事:
-
输入 128×128×3。
-
Conv1 的核是 5×5×3×32,步长 1。边长 (128 − 5)/1 + 1 = 124,32 个核,输出 124×124×32。
-
Conv2 的核被遮住了,只知道输出是 114×114×128,步长 1。
-
反推核边长:124 − k + 1 = 114,得 k = 11。
-
核深度跟着 Conv1 的输出通道走,是 32;核个数等于输出通道,是 128。Conv2 的核是 11×11×32×128。
怎么算
步长 1、不补边时:
输出边长 = N − k + 1
意思是:每过一层,边长少 k − 1。反过来,知道输入和输出边长,核边长 k = N − 输出 + 1。
每层的核形状写成 k × k × C_in × C_out 四个数:
- 前两个 k 是核边长,从尺寸变化反推;
- C_in 是上一层的输出通道数;
- C_out 是这一层的输出通道数。
两层的权重:Conv1 是 5 × 5 × 3 × 32 = 2,400,加 32 个偏置 2,432;Conv2 是 11 × 11 × 32 × 128 = 495,616,加偏置 495,744。
常见误解
以为 Conv2 的核深度是 3
3 是原图的通道数。Conv2 的输入是 Conv1 的输出,有 32 个通道,所以核深度是 32。每一层的核深度都看紧挨着它的上一层。
试一下
输入 64×64×3,连续过三层 3×3 的卷积,步长 1、不补边。三层后边长是多少?
每层少 2:64 → 62 → 60 → 58,三层后是 58×58。
4. 补边:让尺寸保持不变
它解决什么问题
图越缩越小,层就叠不多。补边(padding)在卷积前给图的四周补一圈数,让输出和输入一样大。
直觉
核放不到最边上,是因为边上那一格没法当核的中心。四周补一圈,原来的边就变成了「里面」,核能把每一格都当中心算一次。
补什么数都行:课件给了两种,补 0,或者把边界上的值复制出去。
一步一步看
目标:给 5×5 的图四周补一圈 0 再卷积,看输出怎样回到原图大小,再套到课件的两层网络上。
用一张 5×5 的图、3×3 的核、步长 1:
-
不补边,输出缩成 3×3。
-
四周各补一圈 0,图变成 7×7。原来的 5×5 在正中间。
-
在 7×7 上卷积:(7 − 3)/1 + 1 = 5,输出回到 5×5,和原图一样大。
-
回到课件那个两层网络:Conv1 的核是 5,每边补 2,输入补成 132×132;Conv2 的核是 11,每边补 5,补成 138×138。两层输出都是 128×128。
怎么算
每边补 p 格以后,输入边长变成 N + 2p。步长 1 时:
输出边长 = N + 2p − k + 1
想让输出 = N,就要 2p − k + 1 = 0,所以 p = (k − 1)/2。
意思是:步长 1 时,总共要补 k − 1 格,左右两边平分,每边 (k − 1)/2。
代进去:k = 3 补 1,k = 5 补 2,k = 11 补 5。验算 (132 − 5) + 1 = 128,(138 − 11) + 1 = 128。
带补边的完整公式是 (N + 2p − k)/s + 1。
常见误解
以为补边会增加参数
补的是输入的数,核没有变,参数量不变。
以为补边就是为了让网络学到更多东西
它主要为了保持尺寸,让层能叠得更多。课件同时提醒另一面:特征图也需要尽快缩小以省计算,那是下一页 max-pooling 的任务。
试一下
步长 1、7×7 的核,想保持尺寸,每边补几格?输入 28×28 补完是多大?
(7 − 1)/2 = 3 格。补完 28 + 6 = 34,即 34×34;卷积后 (34 − 7)/1 + 1 = 28,尺寸不变。
把它们串起来
真实的输入有好几个通道。核要和输入一样厚,几层的乘积加在一起,一个核只出一张图;几个核就有几个输出通道。所以一层的形状写成 k × k × C_in × C_out,参数量就是这四个数相乘,再加上每个核一个偏置,和图的长宽无关。
把这样的层一层层叠起来,每一层的 C_in 都等于上一层的 C_out。不补边时,步长 1 的每一层都会让边长少 k − 1,层一多就缩没了。每边补 (k − 1)/2 格,尺寸就能保住。
保住尺寸以后,新问题出来了:特征图一直这么大,计算太贵。下一页的 max-pooling 专门负责把图快速缩小。
课件里的坑
- [留白待算] 输出写成「?×?×H_out」,是留给学生算的,答案是 3×3×H_out(p.15)
- [被遮住的核] Conv2 的核被黑框挡住,要从 124 → 114 反推出 11×11×32×128,答案印在课件后一页(p.17–18)
- [偏置没算] 课件的参数量只算权重。题目没说时,最好同时写出「只算权重」和「加偏置」两个数(p.15)
- [补什么] padding 可以补 0(zeros),也可以复制边界值(copy boundary),两种课件都认(p.18)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写参数量公式 k × k × C_in × C_out + C_out 和补边公式 (k − 1)/2;再把 128×128×3 那个两层网络从头算一遍,每层输出尺寸、参数量、补几格都写出来;最后做变式题。
必背
- 核深度必须等于输入通道数;有几个核就有几个输出通道。
- 卷积层参数量 = k×k×C_in×C_out(偏置另加 C_out),和输入长宽无关。
- 求输出尺寸要知道三样:输入尺寸、核尺寸、stride;输出通道数 = 核的个数。
- 不补边时每过一层(stride 1)边长少 k − 1;层数一多图越缩越小。
- stride 1 时每边补 (k − 1)/2 可以保持尺寸;padding 可以补 0 或复制边界。
课件例题
例 1(课件 p.15):多输入通道
题面:输入是 5×5×3 的特征图。每组核是 3×3×H_in,一组产生一张输出图,一共 H_out 组,步长 1。求输出尺寸和总参数量。
提示
先确定 H_in 是多少,它由输入决定。输出边长用公式算,输出通道数等于组数。
解答
- H_in = 3,所以每组核是 3×3×3。
- 输出边长 (5 − 3)/1 + 1 = 3,输出 3×3×H_out。
- 参数量 3×3×H_in×H_out = 27·H_out(不含偏置)。
例 2(课件 p.17):填空,两层卷积
题面:输入 128×128×3。Conv1 的核是 5×5×3×32,步长 1,输出是多少?Conv2 步长 1,输出 114×114×128,Conv2 的核是多少?两层各有多少权重?
提示
Conv2 的核有四个数:核边长、核边长、核深度、核个数。核深度看 Conv1 的输出通道,核个数看 Conv2 的输出通道。
解答
- Conv1:(128 − 5)/1 + 1 = 124,输出 124×124×32。
- Conv2:124 − k + 1 = 114,k = 11;深度 32,个数 128,核是 11×11×32×128。
- 权重:Conv1 5×5×3×32 = 2,400,加偏置 2,432;Conv2 11×11×32×128 = 495,616,加偏置 495,744。
例 3(课件 p.18):补边让尺寸不变
题面:同一个网络,想让两层卷积的输出都保持 128×128。输入和 Conv1 的输出各要补成多大?
提示
步长 1 时,输出边长 = 补完后的边长 − k + 1。让它等于 128,反推补完后的边长。
解答
- Conv1 的核是 5:补成 (128 + 4)×(128 + 4)×3,每边 2 格,输出 128×128×32。
- Conv2 的核是 11:补成 (128 + 10)×(128 + 10)×32,每边 5 格,输出 128×128×128。
- 规律:每边补 (k − 1)/2,补 0 或复制边界都可以。
例 4(课件 p.32 Q7):标准卷积层怎么处理多个输入通道(如 RGB)?
提示
回到「一个核出一张图」。有的选项说的是每个通道各自独立处理。
解答
选 D:核的深度等于输入通道数,各通道的乘积加起来得到一张输出图。B 描述的是每个通道各自独立处理,和标准卷积层的规则不符。
完整例题
题面(自编):输入 64×64×3 的彩色图,依次经过三层卷积,步长都是 1:Conv1 用 16 个 3×3 的核,每边补 1 格;Conv2 用 32 个 5×5 的核,不补边;Conv3 用 64 个 3×3 的核,不补边。求每层的核形状、输出尺寸、参数量(含偏置)。如果想让 Conv2 输出保持 64×64,要怎么改?
解法:
- Conv1:核深度等于输入通道 3,核形状 3×3×3×16。输出边长 (64 + 2 − 3)/1 + 1 = 64,输出 64×64×16。参数 3×3×3×16 + 16 = 448。
- Conv2:核深度等于上一层的 16,核形状 5×5×16×32。输出边长 64 − 5 + 1 = 60,输出 60×60×32。参数 5×5×16×32 + 32 = 12,832。
- Conv3:核深度 32,核形状 3×3×32×64。输出边长 60 − 3 + 1 = 58,输出 58×58×64。参数 3×3×32×64 + 64 = 18,496。
- 让 Conv2 保持 64×64:每边补 (5 − 1)/2 = 2 格。参数量不变,补边不加参数。
答案:64×64×16、60×60×32、58×58×64;参数 448、12,832、18,496;Conv2 每边补 2 格。
答题格式:每层一行,依次写「核形状 / 输出尺寸公式 / 输出 / 参数量公式 / 参数量」,核深度单独标出是从哪一层来的。
变式题(先自己做)
(1) MNIST 图 28×28×1,Conv1 用 8 个 5×5 的核、步长 1、不补边,求输出和参数量(含偏置)。 (2) 接着 Conv2 用 16 个 3×3 的核、步长 1、每边补 1 格,求输出和参数量。 (3) 一层卷积输入 40×40×10,输出 36×36×20,步长 1、不补边。核形状是什么?
提示
(1) 输入只有 1 个通道,核深度也是 1。(2) 核深度跟着 Conv1 的输出通道走。(3) 从边长变化反推 k,再看通道。
判分点与答案(非官方评分标准)
判分点:① 输出尺寸公式用对;② 核深度等于输入通道数;③ 偏置每个输出通道一个;④ 补边不改变参数量。
(1) (28 − 5)/1 + 1 = 24,输出 24×24×8;参数 5×5×1×8 + 8 = 208。
(2) (24 + 2 − 3)/1 + 1 = 24,输出 24×24×16;参数 3×3×8×16 + 16 = 1,168。
(3) 40 − k + 1 = 36,k = 5;核深度 10,个数 20,核形状 5×5×10×20。
闪卡自测
1. 输入有 H_in 个通道,核的深度是多少?输出通道数由什么决定?
核深度等于 H_in;输出通道数等于核的组数 H_out(p.15)。
2. 卷积层参数量怎么算?
k×k×C_in×C_out,偏置另加 C_out;和输入长宽无关(p.15)。
3. 求输出尺寸要知道哪三样?
输入尺寸、核尺寸、stride(p.15)。
4. 128×128×3 过 5×5×3×32 的卷积、步长 1、不补边,输出多大?
124×124×32(p.17–18)。
5. 从 124 到 114,Conv2 的核是什么?
11×11×32×128(p.17–18)。
6. 11×11 的核、步长 1,每边补几格能保持尺寸?补什么?
5 格;补 0 或复制边界(p.18)。
7. 补边会不会增加参数?
不会。补的是输入,核没变。
下一讲
补边保住了尺寸,可特征图一直很大,计算太贵。下一页讲 max-pooling 怎么把图快速缩小,以及卷积、ReLU、pooling 怎么组装成一个典型的 CNN:L06c。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。