L06a 卷积运算:一个小窗口在图上滑一遍
从全连接网络处理图片的毛病讲起,补上点积,再一帧一帧看小卷积核怎么在图上滑动、算出特征图,以及它为什么能认出一种图案。
一句话版
卷积就是拿一个小窗口在图上一格一格地滑,每到一处,把窗口盖住的那块图和窗口里的数字对应相乘再加起来,得到一个分数。分数排成一张新图,叫特征图。分数高的地方,说明那块图长得像窗口里记着的图案。
这一讲是 CNN(卷积神经网络)的第一页,只讲卷积这一个动作。多通道、参数量和补边见下一页 L06b。读之前最好会全连接网络的前向计算。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| FC | Fully Connected,全连接 | 每个神经元都连到上一层的全部神经元 |
| CNN | Convolutional Neural Network,卷积神经网络 | 用卷积层处理图像的网络 |
| 核 | kernel / filter,卷积核 / 滤波器 | 一个小的权重方块,比如 3×3,代表一种图案 |
| patch | 图块 | 核当前盖住的那一小块图 |
| 特征图 | feature map | 核扫完整张图得到的那张新图 |
| stride | 步长,记作 s | 核每次挪几格 |
| 点积 | dot product | 两组数对应相乘再全部加起来 |
一个类比:拿印章在照片上找图案
你手里有一枚 3×3 的小印章,上面刻着一段竖线。把它按在照片左上角,比一比照片这一小块和印章有多像,记一个分数。然后往右挪一格再比。一行比完,换到下一行。
全部比完,你得到一张分数表。哪里分数高,哪里就有竖线。这张分数表就是特征图。
全连接的做法相当于刻一枚和整张照片一样大的印章,只按一次。印章太大,要刻的格子太多。同一段竖线挪个位置,大印章就得另刻一枚。
类比在哪里失效:
- 真的印章是刻好的。卷积核里的数字一开始是随机的,训练时用梯度下降学出来。
- 「像不像」用点积来量。一块整体很亮的区域,点积也可能很大,和人眼判断的「像」不完全一样。
从零讲起
1. 全连接网络看图片为什么吃力
它解决什么问题
前几讲的网络都是全连接的。拿它识别手写数字能用,但图片一大就撑不住。这一节说清楚它到底卡在哪,后面卷积层的每个设计都是冲着这些毛病去的。
直觉
全连接层只认一长串数字。图片要先拉平成一条向量,才能喂进去。
拉平之后,左右相邻的像素还挨着,上下相邻的像素却被拆开了。网络不知道哪两个数在图上原本是邻居。同一个笔画换个位置,它就当成全新的东西重新学。
一步一步看
目标:把 4×4 小图拉平再数 MNIST 网络的参数,看全连接怎样拆散上下邻居,参数又多得惊人。
-
拿一张 4×4 的小图,按行给每个格子编号,1 到 16。
-
拉平:第一行接第二行,第二行接第三行,排成一行 16 个数。
-
看第 6 格和它正下方的第 10 格。图上它们紧挨着,向量里中间隔了 4 个位置。
-
换成手写数字图 MNIST:28×28 的灰度图拉平后是 784 个数,上下邻居隔 28 个位置。
-
再数参数。一个 784 → 128 → 64 → 10 的小网络,权重和偏置加起来已经有 109,386 个。
怎么算
课件列了三个毛病:
- 参数多:每个神经元连到上一层全部输入,输入一大,权重跟着成倍涨。
- 容易过拟合:参数多、每个神经元什么都看,容易把训练图背下来。
- 不保留空间关系:拉平后网络分不清哪些像素原本挨着。
第一条可以直接算。784 → 128 → 64 → 10 的权重数是 784×128 + 128×64 + 64×10 = 109,184,偏置 128 + 64 + 10 = 202,合计 109,386。
意思是:一张 28×28 的灰度小图,只过三层全连接就要十万个参数。换成 256×256×3 的彩色图,第一层每个神经元就要 256×256×3 = 196,608 个权重,还只是一个神经元。
常见误解
以为拉平只是换个排法,什么都没丢
数值一个没丢,丢的是「谁挨着谁」。全连接层对 784 个输入一视同仁,把它们打乱顺序重新训练,效果差不多。图片的意义恰恰在位置关系里。
试一下
一张 10×10 的灰度图按行拉平。第 3 行第 5 列的像素,和它正下方的像素,在向量里隔几个位置?
隔 10 个位置。拉平时每一行占 10 个数,正下方的像素正好晚一整行出现。
2. 先补一块:点积(补充)
它解决什么问题
卷积层的每一步计算都是一次点积。点积还有一个几何解释,能回答「为什么分数高就说明像」。这一节先把这个工具备好。
直觉
两组数一一配对,配好的两个数相乘,再把所有乘积加起来,就是点积。
把两组数各看成一个箭头。两个箭头指的方向越接近,点积越大;方向垂直,点积为 0;方向相反,点积是负的。
一步一步看
目标:算 x = (1, 0, 1) 和 w 的点积,再换几组 x,看方向越一致点积越大,垂直为 0、相反为负。
-
取两组数 x = (1, 0, 1),w = (1, 1, 1)。
-
对应位置相乘:1×1、0×1、1×1,得到 1、0、1。
-
加起来:1 + 0 + 1 = 2,这就是 x·w。
-
换几组 x 再算,看点积怎么变:
x w 对应相乘 点积 (1, 1, 1) (1, 1, 1) 1、1、1 3,方向完全一致 (1, 0, 1) (1, 1, 1) 1、0、1 2 (1, −1, 0) (1, 1, 1) 1、−1、0 0,两个方向垂直 (−1, −1, −1) (1, 1, 1) −1、−1、−1 −3,方向相反
怎么算
点积有两种写法,结果相同:
x·w = x₁w₁ + x₂w₂ + … + x_kw_k = ||x||·||w||·cosθ
||x|| 是 x 的长度(各分量平方和再开根号),θ 是两个箭头之间的夹角。
意思是:点积 = 两个长度相乘,再乘上「方向有多一致」。cosθ 在 −1 到 1 之间,方向一致时是 1,垂直时是 0。
拿上表第二行验证:||x|| = √2,||w|| = √3,点积 2 = √2 × √3 × cosθ,得 cosθ = 2/√6 ≈ 0.82,夹角不大。
常见误解
以为点积大就一定是方向接近
点积还乘着两个长度。一个很长的 x,方向差一些,点积也可能比一个短而方向一致的 x 大。比较「像不像」时,要在长度相近的前提下比。
试一下
x = (2, 0, 2),w = (1, 1, 1)。点积是多少?和表里 x = (1, 0, 1) 那行比,方向变了吗?
点积 2 + 0 + 2 = 4,是原来的两倍。方向没变,x 只是变长了一倍,所以 cosθ 不变,点积跟着长度翻倍。
3. 卷积运算与输出尺寸
它解决什么问题
全连接的毛病在于每个神经元都看整张图、权重各管各的。卷积换一种算法:用一个小核,只看一小块图,并且同一个核扫遍全图。这一节一帧一帧看它怎么扫,以及扫完得到多大的特征图。
从哪来(补充)
卷积网络的「只看一小块」来自对猫视觉皮层的研究。Hubel 和 Wiesel 在 1950 至 1960 年代发现,有些神经元只对视野里一小块区域起反应。
1980 年,福岛邦彦提出 neocognitron,用多层这样的「局部单元」识别图案。1989 年,LeCun 等人用反向传播直接从手写数字图里学出卷积核。1995 年的 LeNet-5 有 7 层,用来识别支票上的手写数字。
出处:Wikipedia: Convolutional neural network
直觉
先换个角度看全连接神经元:它把一个和整张图一样大的权重格,盖在图上,逐格相乘再相加,只算一次。
卷积只改两处。权重格变小,比如 3×3;权重格会挪动,每挪一次算一个数。这些数按位置排好,就是特征图。
一步一步看
目标:让 3×3 竖线核在 5×5 小图上逐格滑动打分,看输出为什么是 3×3,竖笔那一列分数最高。
下面用一张自编的 5×5 小图,中间有一道竖笔。核是 3×3 的竖线:中间一列是 1,其余是 0。步长 1。
-
核盖在左上角,框里 9 个数和核里 9 个数逐格相乘再相加。核里只有中间一列是 1,所以只剩框里中间一列:0 + 0 + 1 = 1。
-
往右挪一格。核里的数不变,还是同一套权重。框里中间一列是 1、1、1,得 3。
-
再右移一格。框的右边已经贴住图的右边,这一行只放得下 3 个位置。
-
换到下一行,从最左边重新开始,同样一格格往右走。
-
九个位置全部算完,得到 3×3 的特征图。中间一列三个都是 3,竖笔正好在那一列。
怎么算
不补边时,输出边长的公式是:
输出边长 = (N − k)/s + 1
N 是输入边长,k 是核边长,s 是步长。
意思是:核的左边缘能落在第 1 格到第 N − k + 1 格之间,一共有 N − k 段空隙;每次跨 s 格,能跨 (N − k)/s 次,再加上起点那一次,就是 (N − k)/s + 1 个位置。
代进上面的例子:(5 − 3)/1 + 1 = 3,输出 3×3。
课件的例子是一张 7×7 的数字「1」,3×3 的核,步长 1:(7 − 3)/1 + 1 = 5,输出 5×5,一共 25 个隐藏神经元。
这里能看出卷积层的两个特点:
- 局部连接:每个输出只连到一块 3×3 的 patch,全连接则连到整张图。
- 权重共享:25 个输出用的是同一组 9 个权重;全连接里每个输出都有自己的 49 个权重。
常见误解
以为卷积和全连接是两种完全不同的运算
两者都是点积。全连接神经元就是「一个和整张图一样大的核,只算一次」。卷积只是把核变小、让它挪动。差别在连接范围和权重是否共享,运算本身一样。
以为步长越大,输出越大
步长越大,核跨得越远,能落脚的位置越少,输出越小。公式里 s 在分母上。
试一下
7×7 的图、3×3 的核,步长改成 2,输出多大?核分别落在哪几列?
(7 − 3)/2 + 1 = 3,输出 3×3。核的左边缘落在第 1、3、5 列,第 5 列开始的框覆盖第 5 到 7 列,正好到边。
6×6 的图、4×4 的核,步长 1,输出多大?
(6 − 4)/1 + 1 = 3,输出 3×3。
4. 一个核学一种图案
它解决什么问题
卷积层学到的到底是什么?上一节那个竖线核扫过竖笔时分数最高,这不是巧合。这一节把点积的几何意义接上,说明一个核就是一种图案的「模板」。
直觉
每个 patch 和核都可以看成一个箭头。patch 长得越像核,两个箭头方向越接近,点积越大。
所以一个核扫完全图,特征图上分数高的地方,就是这种图案出现的地方。同一种图案在图里出现两次,同一个核在两处都会给出高分,不用另学。
一个核只记一种图案。想同时找竖线、横线、拐角,就得准备几个核。
一步一步看
目标:把竖线核的九个分数排成表,再换横线核扫同一张图,看一个核只对一种图案打高分。
还用上一节的 5×5 小图和竖线核,把九个位置的分数排成表:
-
第一、二行的位置,框里中间一列碰到竖笔的上半段,中间那列得 3,左右两列只碰到一部分。
-
第三行的位置碰到底部的横笔,所以左下和右下也有分数。
-
分数最高的始终是中间一列。
位置 左 中 右 第 1 行 1 3 0 第 2 行 1 3 0 第 3 行 2 3 1 -
换一个横线核(最下面一行是 1,其余是 0)扫同一张图,最高分 3 会出现在底部正中,那里是底下那道横笔。两个核各出一张特征图,各管一种图案。
怎么判断
点积的几何写法是 x·w = ||x||·||w||·cosθ。核 w 固定以后,||w|| 是常数,输出大小由 ||x|| 和 cosθ 决定。
判断一块 patch 像不像这个核:在亮度(||x||)差不多的前提下,比点积大小。点积越大,cosθ 越接近 1,越像。
判断要几个核:要找几种图案,就要几个核;每个核出一张特征图。
常见误解
以为一个核能同时认出好几种图案
课件明确说一个核代表一种特定的图案。想认出多种,就用多个核,得到多张特征图,这就是下一页的「通道」。
以为分数高就一定像
点积也受 patch 亮度影响。一块整体很亮的区域,方向不太对,点积也可能很大。所以「越大越像」要在亮度相近时比较,这是一个直观说法。
试一下
想同时找横线、竖线、斜线三种图案,至少要几个核?会得到几张特征图?
3 个核,3 张特征图。每个核一种图案,各扫一遍全图。
把它们串起来
全连接网络看图片有三个毛病:参数多、容易过拟合、拉平后丢了位置关系。
卷积从点积出发重新设计这一层。全连接神经元等于一个整图大小的核只算一次;把核缩小、让它按步长滑动,就得到卷积。每个输出只连一小块,这是局部连接;同一个核扫遍全图,这是权重共享。输出尺寸由 (N − k)/s + 1 决定。
点积 = 长度 × 长度 × cosθ,所以核扫到和自己相像的 patch 时分数最高。一个核就是一种图案的模板,同一个图案出现在哪里都能被它找到。
图案不止一种,图片本身也有红绿蓝三层。下一页讲多个核、多通道输入怎么算,以及层层堆叠时尺寸怎么保住。
课件里的坑
- [拼写] 第三个毛病写「do not reserve spatial relationship」,按上下文应为 preserve(保留),不影响理解(p.8)
- [读图提醒] 转换后的版面里,绿框第三条的「kernel;」和下一行文字有重叠,按上下文读即可(p.13)
- [说法边界] 「输出越大越相似」严格说要在 patch 亮度相近时比较,点积同时受 ||x|| 影响(p.13)
- [三个名字] 课件把 kernel、filter、pattern 混着用,指的是同一个东西(p.12)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写输出尺寸公式 (N − k)/s + 1 和点积的两种写法;再拿一张 5×5 小图、一个 3×3 核,自己在纸上滑一遍,写出特征图;然后过一遍课件例题;最后用变式题检查步长算没算对。
必背
- FC 处理图像的三个问题:参数多、容易过拟合、拉平后丢掉空间关系。
- 一个全连接神经元 = 一个和整张图一样大的核,只做一次点积。
- 卷积:小核按 stride 在图上滑动做点积,得到一张特征图;无 padding 时输出边长 = (N − k)/s + 1。
- 卷积层两个特点:局部连接(每个神经元只连一个 patch)和权重共享(同一个核扫全图)。
- 点积 x·w = ||x||·||w||·cosθ;一个核学一种图案,点积越大,这块 patch 越像这个核。
课件例题
例 1(课件 p.11):全连接神经元和「大核」一样吗
题面:一张 7×7×1 的数字 1。两个 7×7 的参数格各自和整张图逐元素相乘再求和,得到 h₁、h₂。旁边是一个全连接网络,x₁…x₄₉ 全部连到 h₁、h₂。课件问:Are they different?
提示
把全连接里 h₁ 的计算写出来:49 个输入各乘一个权重再加起来。再看参数格的计算是什么。
解答
- 全连接:h₁ = w₁x₁ + … + w₄₉x₄₉,49 个权重。
- 参数格:7×7 的权重和 7×7 的图逐格相乘求和,也是 49 项。
- 结论:两者一样。一个全连接神经元就是一个和整张图一样大的核,只做一次点积。
例 2(课件 p.12):3×3 的核扫 7×7 的图
题面:同一张 7×7 的图,换成 3×3 的核,步长 1,从左上角开始逐格滑动。输出多大?和例 1 比,参数用法有什么不同?
提示
数一数一行能放下几个 3×3 的窗口。参数方面,想想 25 个输出各自用的是哪一套权重。
解答
- 一行能放 7 − 3 + 1 = 5 个位置,共 5 行,输出 5×5,即 h₁…h₂₅。
- 全连接:每个输出神经元 49 个权重,各有一套。
- 卷积:25 个输出共用同一组 9 个权重,每个输出只连一块 3×3 的图块。
例 3(课件 p.30 Q1):卷积层的主要作用是什么?
提示
想想一个核扫完全图后,特征图记录的是什么。
解答
选 D:提取边缘、纹理、形状等空间特征。A 是整个网络加分类头才做的事;B 说反了,卷积一般让尺寸不变或变小;C 是拉平做的事。
例 4(课件 p.30 Q2):处理图像时,CNN 为什么比 FC 好?
提示
对照 FC 的三个毛病,看哪个选项同时说到了位置关系和参数量。
解答
选 A:保留空间结构,并通过权重共享大幅减少参数。B 说「完全防止过拟合」,说过头了;C 是 FC 的做法;D 错,CNN 照样需要 ReLU。
例 5(课件 p.31 Q4):stride S = 2 是什么意思?
提示
stride 管的是核每次挪多远。
解答
选 C:核窗口每次跨两个像素。
例 6(课件 p.33 Q10):训练 CNN 和标准多层感知机的关键区别是什么?
提示
回到权重共享。两者都用反向传播训练。
解答
选 D:CNN 在不同空间位置之间共享权重,多层感知机每条连接都有独立权重。B 错,CNN 照样用反向传播;A 说反了。
完整例题
题面(自编):输入 4×4 的图,四行依次是 1 0 2 1、0 3 1 0、2 1 0 1、1 0 1 2。核是 2×2,第一行 1 0,第二行 0 1(只取左上和右下两个角)。(a) 步长 1,求特征图;(b) 步长 2,求特征图。
解法:
- 先定尺寸。(a) (4 − 2)/1 + 1 = 3,输出 3×3;(b) (4 − 2)/2 + 1 = 2,输出 2×2。
- 核只保留窗口的左上角和右下角,所以每个位置的分数 = 窗口左上 + 窗口右下。
- (a) 第一行三个位置:1 + 3 = 4,0 + 1 = 1,2 + 0 = 2。
- 第二行:0 + 1 = 1,3 + 0 = 3,1 + 1 = 2。
- 第三行:2 + 0 = 2,1 + 1 = 2,0 + 2 = 2。
- (a) 结果三行是 4 1 2、1 3 2、2 2 2。
- (b) 步长 2,窗口左上角只落在第 1、3 行和第 1、3 列:1 + 3 = 4,2 + 0 = 2,2 + 0 = 2,0 + 2 = 2。结果两行是 4 2、2 2。
要点:步长 2 的结果正好是步长 1 结果里隔一个取一个的那几格。
答题格式:先写尺寸公式算出输出大小,再逐个位置列出「窗口里哪几个数 × 核」,最后整理成矩阵。
变式题(先自己做)
(1) 9×9 的图、3×3 的核,步长分别取 1 和 2,输出各多大? (2) 32×32 的灰度图,全连接层的一个神经元有多少权重?换成 5×5 的卷积核,一个核有多少权重? (3) x = (1, 2, 2),w = (2, 1, 2)。求点积和 cosθ。
提示
(1) 直接套 (N − k)/s + 1。(2) 全连接要连到全部像素;卷积核只管自己那一块。(3) 先算点积,再算两个长度,代进 ||x||·||w||·cosθ。
判分点与答案(非官方评分标准)
判分点:① 尺寸公式里步长在分母上;② 卷积核权重数和图片大小无关;③ cosθ 要写出两个长度。
(1) 步长 1:(9 − 3)/1 + 1 = 7;步长 2:(9 − 3)/2 + 1 = 4。
(2) 全连接:32 × 32 = 1,024 个权重。卷积核:5 × 5 = 25 个权重,不管图多大都是这么多,而且扫全图时共用。
(3) 点积 2 + 2 + 4 = 8。||x|| = √9 = 3,||w|| = √9 = 3,cosθ = 8/9 ≈ 0.89,方向很接近。
闪卡自测
1. FC 处理图像的三个问题是什么?
容易过拟合、参数多、不保留空间关系(p.8)。
2. 一个全连接神经元可以看成什么样的核?
一个和整张图一样大的核,只做一次点积(p.11)。
3. 7×7 的图、3×3 的核、步长 1,输出多大?
5×5,即 25 个神经元(p.12)。
4. 输出尺寸公式是什么?步长变大,输出怎么变?
(N − k)/s + 1,不补边时成立;步长变大,输出变小(p.12)。
5. 卷积层和全连接层的两个区别是什么?
每个神经元只连一块图块(局部连接);同一个核在全图滑动时共享(权重共享)(p.12、p.34)。
6. 点积的几何意义是什么?输出大说明什么?
x·w = ||x||·||w||·cosθ;输出大说明图块和核越相似,前提是亮度相近(p.13)。
7. 一个核能代表几种图案?
一种,想认多种就要多个核(p.13)。
8. 784 → 128 → 64 → 10 的全连接网络有多少参数?
109,386 个,权重加偏置(p.8)。
下一讲
一个核只认一种图案,图片本身又有红绿蓝三层。下一页讲多个核和多通道输入怎么算、一层有多少参数、层层堆叠时怎么用补边保住尺寸:L06b。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。