L06c max-pooling 与典型 CNN:把图快速缩小,再把零件装起来
一帧一帧手算 max-pooling,讲清它没有参数、不改通道、梯度怎么回传,再把卷积、ReLU、pooling 组装成一个典型的 CNN。
一句话版
max-pooling 把特征图切成一个个小窗口,每个窗口只留最大的那个数。2×2 的窗口、步长 2,图的长和宽各缩一半,数据只剩四分之一。它什么都不用学,也不改通道数。
卷积、ReLU 交替几次,再接一次 pooling,这样的一组重复几遍,最后接全连接层打分,就是一个典型的 CNN。
上一页 L06b 用补边保住了尺寸,这一页负责把尺寸缩下来。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| pooling | 池化 | 把一个小窗口里的数合成一个,让图变小 |
| max-pooling | 最大池化 | 窗口里只留最大的那个数 |
| 降采样 | downsample | 让图变小,数据变少 |
| 排列不变 | permutation invariant | 窗口里的数换个位置,结果不变 |
| ReLU | Rectified Linear Unit | 负数变 0,正数原样输出 |
| 分段线性 | piece-wise linear | 一段一段都是直线拼起来的函数 |
一个类比:每个小组只派最高分的人
一个班按座位分成四人小组。老师不想听每个人汇报,只让每组派分数最高的那个人上台。人数一下变成四分之一,每组最突出的那个声音保住了。
组员换座位,派出来的还是同一个人。这就是「对窗口内排列不变」。
类比在哪里失效:
- 小组可以按人头商量着选代表。max-pooling 只比数值大小,不看别的。
- 落选的人在班里还在;pooling 之后,没被选中的数就没了,位置细节也跟着丢了。
从零讲起
1. max-pooling 怎么做
它解决什么问题
卷积层靠补边保住了尺寸,可特征图一直这么大,后面每一层都要在整张大图上滑,计算太贵。需要一个办法把图快速缩小,同时尽量留住最重要的信息。
从哪来(补充)
max-pooling 由 Yamaguchi 等人在 1990 年提出。1993 年,Weng 等人在一个叫 Cresceptron 的识别网络里用上了它。
出处:Wikipedia: Convolutional neural network
直觉
卷积之后,特征图上的大数表示「这里很像某种图案」。一个小窗口里只要有一处很像,就说明这片区域有这个图案。
所以每个窗口只留最大值就够了:图变小了,最强的那个信号还在。
一步一步看
目标:用 2×2 窗口、步长 2 扫一张 4×4 特征图,看每个窗口只留最大值,输出缩成 2×2。
拿一个 4×4 的单通道特征图,四行依次是 2 0 1 3、4 1 0 2、0 5 2 2、1 1 6 0。窗口 2×2,步长 2,四个窗口互不重叠。
-
左上窗口是 {2, 0, 4, 1},最大值 4,填进输出的左上。
-
窗口右移两格。右上窗口是 {1, 3, 0, 2},最大值 3。
-
下移两格回到左边。左下窗口是 {0, 5, 1, 1},最大值 5。
-
右下窗口是 {2, 2, 6, 0},最大值 6。四个窗口做完,输出两行是 4 3、5 6。
怎么算
pooling 的输出尺寸和卷积用同一个公式:
输出边长 = (N − k)/s + 1,k 是窗口边长
意思是:窗口怎么滑,和卷积核一模一样,只是到了每个位置不做点积,改成取最大值。
代进 2×2、步长 2:(4 − 2)/2 + 1 = 2,输出 2×2。最常见的配置就是窗口和步长都取 2,窗口互不重叠,长宽各减半。
常见误解
以为 pooling 窗口会重叠
步长等于窗口边长时,窗口一个挨一个,不重叠,也不漏。步长比窗口小才会重叠。课件用的是 2×2 窗口、步长 2。
试一下
4×4 输入四行依次是 3 1 0 2、4 8 1 1、0 2 5 7、6 1 3 2,做 2×2、步长 2 的 max-pooling,结果是什么?
左上 {3, 1, 4, 8} → 8,右上 {0, 2, 1, 1} → 2,左下 {0, 2, 6, 1} → 6,右下 {5, 7, 3, 2} → 7。结果两行是 8 2、6 7。
2. pooling 的性质:没有参数,不改通道
它解决什么问题
pooling 层算参数量时记几个?过完 pooling,通道数变不变?反向传播时梯度怎么穿过它?这三个问题考试都会碰到。
直觉
取最大值这件事不需要任何权重,所以它没有要学的东西,参数量是 0。
它对每个通道单独做,一个通道进,一个通道出,所以只缩长和宽,通道数不变。
反向传播时,输出只和窗口里那个最大值有关。别的数稍微变一点,最大值不变,输出也不变,所以梯度只回到最大值的位置。
一步一步看
目标:让 128×128×32 的特征图过一次 max-pooling,看长宽减半、通道不变、没有参数,梯度只流向最大值。
-
接上一页的网络:Conv1 补边后输出 128×128×32。
-
做 2×2、步长 2 的 max-pooling。32 个通道各自做一次。
-
每个通道从 128×128 变成 64×64,输出 64×64×32。
-
把这一层的情况列成表:
项目 pooling 前 pooling 后 长 × 宽 128×128 64×64 通道 32 32 这一层的参数 — 0 -
反向传播:在第一个例子的左上窗口 {2, 0, 4, 1} 里,最大值 4 拿到全部梯度,2、0、1 三个位置的梯度都是 0。
怎么判断
课件列了 max-pooling 的三个性质:
- 降采样:图变小,后面的计算变少。
- 保留最大的特征、忽略较小的。课件原话说能克服过拟合,实际效果是缓解。
- 对窗口内的排列不变:[[1,1],[5,6]] 和 [[6,1],[5,1]] 取最大都是 6。
课件还留了三个问题,没给答案,下面是补充:
- 梯度怎么算:只传给窗口里最大值的位置,其余为 0。
- 是不是分段线性:是。在「谁最大」固定的一片区域里,输出就等于那个输入,是一条直线。所以它和 ReLU 一样是分段线性函数。
- max、min、mean 怎么选:mean pooling 取平均,每个位置都分到梯度;min pooling 在 ReLU 之后很容易取到 0,基本不用。
缺点课件没写,常见说法是:每个窗口只留一个值,位置细节和较弱的响应被丢掉了。
常见误解
以为 pooling 层也有权重,要算进参数量
它只取最大值,没有可学的参数,算参数量时记 0。
以为 pooling 会把通道合并
pooling 对每个通道单独做,只缩长和宽。改通道数的是卷积层,靠核的个数。
试一下
64×64×16 的特征图做 2×2、步长 2 的 max-pooling,输出多大?这一层多少参数?
(64 − 2)/2 + 1 = 32,输出 32×32×16,通道不变。参数 0。
3. 典型 CNN 结构
它解决什么问题
卷积、ReLU、pooling、全连接,零件都有了。这一节看它们按什么顺序装成一个完整的分类网络,以及顺序能不能换。
直觉
卷积找图案,ReLU 加非线性,隔几层用 pooling 缩一次图。这样一组一组往下叠,图越来越小,通道越来越多,找到的图案越来越复杂。
最后把剩下的小特征图拉平成一条向量,交给全连接层,给每一类打分。
一步一步看
目标:把卷积、激活、池化这一组重复几次再接全连接,看典型 CNN 怎样搭成,再试 ReLU 和池化能否换序。
-
一组是 CONV → RELU → CONV → RELU → POOL:两次卷积加激活,再缩一次。
-
这一组重复几次。课件引用的图里是三次。
-
最后的特征图拉平,接全连接层 FC。
-
FC 输出每一类的分数,比如 car、truck、airplane、ship、horse。
-
课件红字问:ReLU 和 max-pool 交换顺序有没有影响?拿窗口 −3、−1、2、−5 试:先 ReLU 变成 0、0、2、0,最大 2;先取最大得 2,ReLU 后还是 2。
怎么判断
判断每个零件改了什么:
| 零件 | 改长宽 | 改通道 | 有参数 |
|---|---|---|---|
| CONV | 不补边会缩,补边不变 | 改成核的个数 | 有 |
| RELU | 不改 | 不改 | 没有 |
| POOL | 缩小 | 不改 | 没有 |
| FC | 先拉平 | 输出类别数 | 有 |
判断 ReLU 和 pooling 的顺序:ReLU 单调不减,大的数过了 ReLU 仍然最大(或者一起变成 0),所以 max(ReLU(a), ReLU(b), …) = ReLU(max(a, b, …))。
意思是:两种顺序结果相同。先 pool 再 ReLU 更省,2×2 窗口时 ReLU 只用算四分之一的数。
判断卷积层之间要不要 ReLU:要。没有它,几层卷积叠起来仍然只是一个线性运算,学不到复杂的层级图案。
常见误解
以为每做一次卷积就要 pooling 一次
典型结构是两次卷积加 ReLU 才接一次 pooling。pooling 太频繁,图缩得太快,后面的层就没东西可看了。
以为 ReLU 只是为了让数变成非负
ReLU 的作用是给网络加非线性。没有它,再多层卷积也能合成一层线性运算。
试一下
窗口是 −4、−2、−6、−1。先 ReLU 再取最大,和先取最大再 ReLU,分别得多少?
先 ReLU 全变 0,最大 0;先取最大是 −1,ReLU 后是 0。两种顺序都是 0。
把它们串起来
卷积层靠补边保住尺寸,图一直很大,计算太贵。max-pooling 负责缩:每个窗口只留最大值,2×2、步长 2 时长宽各减半。它没有参数,不改通道,对窗口里的排列不在乎;反向传播时梯度只回到最大值那一格。
零件凑齐以后,标准装法是 CONV、RELU、CONV、RELU、POOL 一组,重复几组,最后拉平接全连接层打分。卷积改通道,pooling 缩长宽,ReLU 提供非线性。ReLU 和 pooling 的先后不影响结果,先 pool 更省。
这样搭出来的网络能多深?下一页看 ImageNet 比赛里的三个代表网络:AlexNet、VGG、ResNet,它们把层数从 8 一路推到 152。
课件里的坑
- [只问不答] 课件问「梯度怎么算」「是不是分段线性」「max、min、mean 选哪个」,只提问没给答案,本页的答案是补充(p.20)
- [只问不答] 课件问 ReLU 和 max-pool 的顺序有没有影响,同样没给答案,本页的答案是补充(p.22)
- [说法边界] 课件说 max-pooling 能 overcome overfitting,实际是缓解,不是消除(p.20)
- [缺点没写] 课件 take-home 问 max-pooling 的优缺点,缺点没给,常见说法是丢掉位置细节和较弱响应(p.34)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先手算一次 2×2 的 max-pooling;再把「零件改了什么」那张表默写出来;然后过一遍课件例题;最后做完整例题,把一个小 CNN 的每层尺寸和参数量从头算到尾。
必背
- max-pooling 按窗口取最大值:降采样、保留最大响应、对窗口内排列不变;没有参数,通道数不变。
- 2×2、stride 2 的 max-pooling 让长宽各减半:128×128×32 → 64×64×32。
- max-pooling 反向传播只把梯度传给窗口里的最大值位置,其余位置梯度为 0。
- 典型 CNN:CONV-RELU-CONV-RELU-POOL 重复几次,最后接全连接层输出类别。
- ReLU 和 max-pooling 交换顺序结果相同(ReLU 单调不减),先 pool 计算更少。
课件例题
例 1(课件 p.20):手算 max-pooling
题面:4×4 输入的四行依次是 1 1 2 4、5 6 7 8、3 2 1 0、1 2 3 4。用 2×2 的窗口、步长 2 做 max-pooling,结果是什么?
提示
步长等于窗口大小,四个窗口互不重叠:左上、右上、左下、右下。
解答
- 左上 {1, 1, 5, 6} → 6;右上 {2, 4, 7, 8} → 8。
- 左下 {3, 2, 1, 2} → 3;右下 {1, 0, 3, 4} → 4。
- 结果是 2×2:第一行 6、8,第二行 3、4。
例 2(课件 p.20):pooling 后的尺寸
题面:128×128×3 的图经过 Conv1(5×5×3×32,步长 1,补边保持尺寸),再做 2×2、步长 2 的 max-pooling。pooling 前后各多大?pooling 层有多少参数?
提示
pooling 也能套输出尺寸公式,窗口大小当 k。通道数要不要变?
解答
- Conv1 补边后输出 128×128×32。
- pooling:(128 − 2)/2 + 1 = 64,输出 64×64×32,通道数不变。
- 参数量 0,pooling 只取最大值。
例 3(课件 p.22):ReLU 和 max-pooling 的顺序
题面:课件问「Does the order of ReLU and Max-pool matter?」。用窗口 −3、−1、2、−5 和 −4、−2、−6、−1 各验证一次。
提示
两种顺序各算一遍。再想想 ReLU 会不会改变数的大小顺序。
解答
- 第一个窗口:两种顺序都得 2。
- 第二个窗口:先 ReLU 全变 0,最大 0;先取最大 −1,ReLU 后 0。也一样。
- 补充:ReLU 单调不减,不改变大小顺序,所以顺序不影响结果;先 pooling 计算更少。
例 4(课件 p.31 Q3):引入 pooling 层的主要目的是什么?
提示
想想 pooling 有没有权重、改不改通道数。
解答
选 D:逐步缩小空间尺寸,并带来一定的空间不变性。A 错,pooling 没有可学习的权重;C 错,pooling 不改变通道数。
例 5(课件 p.32 Q6):卷积层之间的非线性激活(如 ReLU)起什么作用?
提示
去掉 ReLU,几层卷积叠起来是什么运算?
解答
选 B:让网络能学复杂的、非线性的层级图案。没有它,多层卷积叠起来仍然是一个线性运算。
完整例题
题面(自编):输入 32×32×3 的图,依次经过:Conv1(16 个 3×3 的核,步长 1,每边补 1)→ ReLU → max-pooling(2×2,步长 2)→ Conv2(32 个 3×3 的核,步长 1,每边补 1)→ ReLU → max-pooling(2×2,步长 2)→ 拉平 → 全连接层输出 10 类。求每层输出尺寸和参数量(含偏置),哪一层参数最多?
解法:
- Conv1:(32 + 2 − 3)/1 + 1 = 32,输出 32×32×16;参数 3×3×3×16 + 16 = 448。
- ReLU 不改尺寸、没有参数。pooling:32/2 = 16,输出 16×16×16,参数 0。
- Conv2:补边保持 16,输出 16×16×32;参数 3×3×16×32 + 32 = 4,640。
- pooling:输出 8×8×32,参数 0。
- 拉平:8×8×32 = 2,048 个数。全连接 2,048×10 + 10 = 20,490。
答案:32×32×16 → 16×16×16 → 16×16×32 → 8×8×32 → 10;参数 448、4,640、20,490,全连接层最多。
答题格式:画一张表「层 / 输出尺寸 / 参数量」,ReLU 和 pooling 也各占一行,参数写 0,不要漏行。
变式题(先自己做)
(1) 4×4 输入四行依次是 0 3 2 2、1 4 5 1、7 0 0 2、2 2 1 9,做 2×2、步长 2 的 max-pooling。 (2) 一个 56×56×64 的特征图连续做两次 2×2、步长 2 的 max-pooling,输出多大?两层一共多少参数? (3) 第 (1) 题左上窗口里,哪个位置能拿到反向传过来的梯度?
提示
(1) 四个不重叠窗口各取最大。(2) 每次长宽减半,通道不变。(3) 梯度只回到最大值的位置。
判分点与答案(非官方评分标准)
判分点:① 窗口划分正确;② 通道数不变;③ pooling 参数写 0;④ 梯度只给最大值位置。
(1) 左上 {0, 3, 1, 4} → 4,右上 {2, 2, 5, 1} → 5,左下 {7, 0, 2, 2} → 7,右下 {0, 2, 1, 9} → 9,结果两行 4 5、7 9。
(2) 56 → 28 → 14,输出 14×14×64;参数 0。
(3) 左上窗口的最大值是 4(第 2 行第 2 列),只有它拿到梯度,其余三个位置梯度为 0。
闪卡自测
1. max-pooling 的三个性质是什么?
降采样;保留最大特征、忽略较小的,课件原话是克服过拟合,实际效果是缓解;对窗口内神经元的排列不变(p.20)。
2. 128×128×32 做 2×2、步长 2 的 max-pooling,输出多大?参数多少?
64×64×32,参数 0(p.20)。
3. max-pooling 反向传播时梯度传给谁?
补充:只传给窗口里取到最大值的位置,其余位置梯度为 0(p.20)。
4. max-pooling 是分段线性的吗?
补充:是。「谁最大」固定的区域里,输出就等于那个输入(p.20)。
5. 典型 CNN 的结构怎么排?
(CONV-RELU-CONV-RELU-POOL) 重复几次,最后接全连接层(p.22)。
6. ReLU 和 max-pooling 交换顺序,结果变吗?
补充:不变,ReLU 单调不减;先 pool 计算更少(p.22)。
7. 引入 pooling 的主要目的是什么?
逐步缩小空间尺寸,带来一定的空间不变性(p.31)。
下一讲
零件装好了,接下来看它们能叠多深。下一页讲 ImageNet 上的三个代表网络 AlexNet、VGG、ResNet,以及为什么越深越好:L06d。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。