← COMP5541 全部讲次
L06a · 第 8 周

L06a 卷积运算:一个小窗口在图上滑一遍

从全连接网络处理图片的毛病讲起,补上点积,再一帧一帧看小卷积核怎么在图上滑动、算出特征图,以及它为什么能认出一种图案。

一句话版

卷积就是拿一个小窗口在图上一格一格地滑,每到一处,把窗口盖住的那块图和窗口里的数字对应相乘再加起来,得到一个分数。分数排成一张新图,叫特征图。分数高的地方,说明那块图长得像窗口里记着的图案。

这一讲是 CNN(卷积神经网络)的第一页,只讲卷积这一个动作。多通道、参数量和补边见下一页 L06b。读之前最好会全连接网络的前向计算。

先认识这几个词

词 全称 / 读法 一句人话
FC Fully Connected,全连接 每个神经元都连到上一层的全部神经元
CNN Convolutional Neural Network,卷积神经网络 用卷积层处理图像的网络
核 kernel / filter,卷积核 / 滤波器 一个小的权重方块,比如 3×3,代表一种图案
patch 图块 核当前盖住的那一小块图
特征图 feature map 核扫完整张图得到的那张新图
stride 步长,记作 s 核每次挪几格
点积 dot product 两组数对应相乘再全部加起来

一个类比:拿印章在照片上找图案

你手里有一枚 3×3 的小印章,上面刻着一段竖线。把它按在照片左上角,比一比照片这一小块和印章有多像,记一个分数。然后往右挪一格再比。一行比完,换到下一行。

全部比完,你得到一张分数表。哪里分数高,哪里就有竖线。这张分数表就是特征图。

全连接的做法相当于刻一枚和整张照片一样大的印章,只按一次。印章太大,要刻的格子太多。同一段竖线挪个位置,大印章就得另刻一枚。

类比在哪里失效:

  • 真的印章是刻好的。卷积核里的数字一开始是随机的,训练时用梯度下降学出来。
  • 「像不像」用点积来量。一块整体很亮的区域,点积也可能很大,和人眼判断的「像」不完全一样。

从零讲起

1. 全连接网络看图片为什么吃力

它解决什么问题

前几讲的网络都是全连接的。拿它识别手写数字能用,但图片一大就撑不住。这一节说清楚它到底卡在哪,后面卷积层的每个设计都是冲着这些毛病去的。

直觉

全连接层只认一长串数字。图片要先拉平成一条向量,才能喂进去。

拉平之后,左右相邻的像素还挨着,上下相邻的像素却被拆开了。网络不知道哪两个数在图上原本是邻居。同一个笔画换个位置,它就当成全新的东西重新学。

一步一步看

目标:把 4×4 小图拉平再数 MNIST 网络的参数,看全连接怎样拆散上下邻居,参数又多得惊人。

  1. 拿一张 4×4 的小图,按行给每个格子编号,1 到 16。

  2. 拉平:第一行接第二行,第二行接第三行,排成一行 16 个数。

  3. 看第 6 格和它正下方的第 10 格。图上它们紧挨着,向量里中间隔了 4 个位置。

    左边一张 4×4 小图按行编号 1 到 16,第 6 格和正下方第 10 格描成青绿;拉平成一行 16 个数后,6 和 10 之间隔了 4 个位置;下方注明 28×28 的 MNIST 图拉平成 784 个数时,上下邻居隔 28 个位置

  4. 换成手写数字图 MNIST:28×28 的灰度图拉平后是 784 个数,上下邻居隔 28 个位置。

  5. 再数参数。一个 784 → 128 → 64 → 10 的小网络,权重和偏置加起来已经有 109,386 个。

怎么算

课件列了三个毛病:

  • 参数多:每个神经元连到上一层全部输入,输入一大,权重跟着成倍涨。
  • 容易过拟合:参数多、每个神经元什么都看,容易把训练图背下来。
  • 不保留空间关系:拉平后网络分不清哪些像素原本挨着。

第一条可以直接算。784 → 128 → 64 → 10 的权重数是 784×128 + 128×64 + 64×10 = 109,184,偏置 128 + 64 + 10 = 202,合计 109,386。

意思是:一张 28×28 的灰度小图,只过三层全连接就要十万个参数。换成 256×256×3 的彩色图,第一层每个神经元就要 256×256×3 = 196,608 个权重,还只是一个神经元。

常见误解

以为拉平只是换个排法,什么都没丢

数值一个没丢,丢的是「谁挨着谁」。全连接层对 784 个输入一视同仁,把它们打乱顺序重新训练,效果差不多。图片的意义恰恰在位置关系里。

试一下

一张 10×10 的灰度图按行拉平。第 3 行第 5 列的像素,和它正下方的像素,在向量里隔几个位置?

隔 10 个位置。拉平时每一行占 10 个数,正下方的像素正好晚一整行出现。

2. 先补一块:点积(补充)

它解决什么问题

卷积层的每一步计算都是一次点积。点积还有一个几何解释,能回答「为什么分数高就说明像」。这一节先把这个工具备好。

直觉

两组数一一配对,配好的两个数相乘,再把所有乘积加起来,就是点积。

把两组数各看成一个箭头。两个箭头指的方向越接近,点积越大;方向垂直,点积为 0;方向相反,点积是负的。

一步一步看

目标:算 x = (1, 0, 1) 和 w 的点积,再换几组 x,看方向越一致点积越大,垂直为 0、相反为负。

  1. 取两组数 x = (1, 0, 1),w = (1, 1, 1)。

  2. 对应位置相乘:1×1、0×1、1×1,得到 1、0、1。

  3. 加起来:1 + 0 + 1 = 2,这就是 x·w。

  4. 换几组 x 再算,看点积怎么变:

    x w 对应相乘 点积
    (1, 1, 1) (1, 1, 1) 1、1、1 3,方向完全一致
    (1, 0, 1) (1, 1, 1) 1、0、1 2
    (1, −1, 0) (1, 1, 1) 1、−1、0 0,两个方向垂直
    (−1, −1, −1) (1, 1, 1) −1、−1、−1 −3,方向相反

怎么算

点积有两种写法,结果相同:

x·w = x₁w₁ + x₂w₂ + … + x_kw_k = ||x||·||w||·cosθ

||x|| 是 x 的长度(各分量平方和再开根号),θ 是两个箭头之间的夹角。

意思是:点积 = 两个长度相乘,再乘上「方向有多一致」。cosθ 在 −1 到 1 之间,方向一致时是 1,垂直时是 0。

拿上表第二行验证:||x|| = √2,||w|| = √3,点积 2 = √2 × √3 × cosθ,得 cosθ = 2/√6 ≈ 0.82,夹角不大。

常见误解

以为点积大就一定是方向接近

点积还乘着两个长度。一个很长的 x,方向差一些,点积也可能比一个短而方向一致的 x 大。比较「像不像」时,要在长度相近的前提下比。

试一下

x = (2, 0, 2),w = (1, 1, 1)。点积是多少?和表里 x = (1, 0, 1) 那行比,方向变了吗?

点积 2 + 0 + 2 = 4,是原来的两倍。方向没变,x 只是变长了一倍,所以 cosθ 不变,点积跟着长度翻倍。

3. 卷积运算与输出尺寸

它解决什么问题

全连接的毛病在于每个神经元都看整张图、权重各管各的。卷积换一种算法:用一个小核,只看一小块图,并且同一个核扫遍全图。这一节一帧一帧看它怎么扫,以及扫完得到多大的特征图。

从哪来(补充)

卷积网络的「只看一小块」来自对猫视觉皮层的研究。Hubel 和 Wiesel 在 1950 至 1960 年代发现,有些神经元只对视野里一小块区域起反应。

1980 年,福岛邦彦提出 neocognitron,用多层这样的「局部单元」识别图案。1989 年,LeCun 等人用反向传播直接从手写数字图里学出卷积核。1995 年的 LeNet-5 有 7 层,用来识别支票上的手写数字。

出处:Wikipedia: Convolutional neural network

直觉

先换个角度看全连接神经元:它把一个和整张图一样大的权重格,盖在图上,逐格相乘再相加,只算一次。

卷积只改两处。权重格变小,比如 3×3;权重格会挪动,每挪一次算一个数。这些数按位置排好,就是特征图。

一步一步看

目标:让 3×3 竖线核在 5×5 小图上逐格滑动打分,看输出为什么是 3×3,竖笔那一列分数最高。

下面用一张自编的 5×5 小图,中间有一道竖笔。核是 3×3 的竖线:中间一列是 1,其余是 0。步长 1。

  1. 核盖在左上角,框里 9 个数和核里 9 个数逐格相乘再相加。核里只有中间一列是 1,所以只剩框里中间一列:0 + 0 + 1 = 1。

    第 1 步:左边 5×5 输入,青绿框圈住第 1 到 3 行、第 1 到 3 列;中间是 3×3 竖线核,中间一列是 1;右边 3×3 特征图的第 1 格填进 1

  2. 往右挪一格。核里的数不变,还是同一套权重。框里中间一列是 1、1、1,得 3。

    第 2 步:青绿框右移一列,圈住第 1 到 3 行、第 2 到 4 列;特征图第一行第 2 格填进 3

  3. 再右移一格。框的右边已经贴住图的右边,这一行只放得下 3 个位置。

    第 3 步:青绿框圈住第 1 到 3 行、第 3 到 5 列,框里中间一列都是 0;特征图第一行第 3 格填进 0

  4. 换到下一行,从最左边重新开始,同样一格格往右走。

    第 4 步:青绿框下移一行回到左边,圈住第 2 到 4 行、第 1 到 3 列;特征图第二行第 1 格填进 1

  5. 九个位置全部算完,得到 3×3 的特征图。中间一列三个都是 3,竖笔正好在那一列。

    第 5 步:特征图全部算完,三行依次是 1 3 0、1 3 0、2 3 1,中间一列垫了底色,表示竖线核在竖笔所在的那一列打分最高

怎么算

不补边时,输出边长的公式是:

输出边长 = (N − k)/s + 1

N 是输入边长,k 是核边长,s 是步长。

意思是:核的左边缘能落在第 1 格到第 N − k + 1 格之间,一共有 N − k 段空隙;每次跨 s 格,能跨 (N − k)/s 次,再加上起点那一次,就是 (N − k)/s + 1 个位置。

代进上面的例子:(5 − 3)/1 + 1 = 3,输出 3×3。

课件的例子是一张 7×7 的数字「1」,3×3 的核,步长 1:(7 − 3)/1 + 1 = 5,输出 5×5,一共 25 个隐藏神经元。

这里能看出卷积层的两个特点:

  • 局部连接:每个输出只连到一块 3×3 的 patch,全连接则连到整张图。
  • 权重共享:25 个输出用的是同一组 9 个权重;全连接里每个输出都有自己的 49 个权重。

常见误解

以为卷积和全连接是两种完全不同的运算

两者都是点积。全连接神经元就是「一个和整张图一样大的核,只算一次」。卷积只是把核变小、让它挪动。差别在连接范围和权重是否共享,运算本身一样。

以为步长越大,输出越大

步长越大,核跨得越远,能落脚的位置越少,输出越小。公式里 s 在分母上。

试一下

7×7 的图、3×3 的核,步长改成 2,输出多大?核分别落在哪几列?

(7 − 3)/2 + 1 = 3,输出 3×3。核的左边缘落在第 1、3、5 列,第 5 列开始的框覆盖第 5 到 7 列,正好到边。

6×6 的图、4×4 的核,步长 1,输出多大?

(6 − 4)/1 + 1 = 3,输出 3×3。

4. 一个核学一种图案

它解决什么问题

卷积层学到的到底是什么?上一节那个竖线核扫过竖笔时分数最高,这不是巧合。这一节把点积的几何意义接上,说明一个核就是一种图案的「模板」。

直觉

每个 patch 和核都可以看成一个箭头。patch 长得越像核,两个箭头方向越接近,点积越大。

所以一个核扫完全图,特征图上分数高的地方,就是这种图案出现的地方。同一种图案在图里出现两次,同一个核在两处都会给出高分,不用另学。

一个核只记一种图案。想同时找竖线、横线、拐角,就得准备几个核。

一步一步看

目标:把竖线核的九个分数排成表,再换横线核扫同一张图,看一个核只对一种图案打高分。

还用上一节的 5×5 小图和竖线核,把九个位置的分数排成表:

  1. 第一、二行的位置,框里中间一列碰到竖笔的上半段,中间那列得 3,左右两列只碰到一部分。

  2. 第三行的位置碰到底部的横笔,所以左下和右下也有分数。

  3. 分数最高的始终是中间一列。

    位置 左 中 右
    第 1 行 1 3 0
    第 2 行 1 3 0
    第 3 行 2 3 1
  4. 换一个横线核(最下面一行是 1,其余是 0)扫同一张图,最高分 3 会出现在底部正中,那里是底下那道横笔。两个核各出一张特征图,各管一种图案。

怎么判断

点积的几何写法是 x·w = ||x||·||w||·cosθ。核 w 固定以后,||w|| 是常数,输出大小由 ||x|| 和 cosθ 决定。

判断一块 patch 像不像这个核:在亮度(||x||)差不多的前提下,比点积大小。点积越大,cosθ 越接近 1,越像。

判断要几个核:要找几种图案,就要几个核;每个核出一张特征图。

常见误解

以为一个核能同时认出好几种图案

课件明确说一个核代表一种特定的图案。想认出多种,就用多个核,得到多张特征图,这就是下一页的「通道」。

以为分数高就一定像

点积也受 patch 亮度影响。一块整体很亮的区域,方向不太对,点积也可能很大。所以「越大越像」要在亮度相近时比较,这是一个直观说法。

试一下

想同时找横线、竖线、斜线三种图案,至少要几个核?会得到几张特征图?

3 个核,3 张特征图。每个核一种图案,各扫一遍全图。

把它们串起来

全连接网络看图片有三个毛病:参数多、容易过拟合、拉平后丢了位置关系。

卷积从点积出发重新设计这一层。全连接神经元等于一个整图大小的核只算一次;把核缩小、让它按步长滑动,就得到卷积。每个输出只连一小块,这是局部连接;同一个核扫遍全图,这是权重共享。输出尺寸由 (N − k)/s + 1 决定。

点积 = 长度 × 长度 × cosθ,所以核扫到和自己相像的 patch 时分数最高。一个核就是一种图案的模板,同一个图案出现在哪里都能被它找到。

图案不止一种,图片本身也有红绿蓝三层。下一页讲多个核、多通道输入怎么算,以及层层堆叠时尺寸怎么保住。

课件里的坑

  • [拼写] 第三个毛病写「do not reserve spatial relationship」,按上下文应为 preserve(保留),不影响理解(p.8)
  • [读图提醒] 转换后的版面里,绿框第三条的「kernel;」和下一行文字有重叠,按上下文读即可(p.13)
  • [说法边界] 「输出越大越相似」严格说要在 patch 亮度相近时比较,点积同时受 ||x|| 影响(p.13)
  • [三个名字] 课件把 kernel、filter、pattern 混着用,指的是同一个东西(p.12)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写输出尺寸公式 (N − k)/s + 1 和点积的两种写法;再拿一张 5×5 小图、一个 3×3 核,自己在纸上滑一遍,写出特征图;然后过一遍课件例题;最后用变式题检查步长算没算对。

必背

  1. FC 处理图像的三个问题:参数多、容易过拟合、拉平后丢掉空间关系。
  2. 一个全连接神经元 = 一个和整张图一样大的核,只做一次点积。
  3. 卷积:小核按 stride 在图上滑动做点积,得到一张特征图;无 padding 时输出边长 = (N − k)/s + 1。
  4. 卷积层两个特点:局部连接(每个神经元只连一个 patch)和权重共享(同一个核扫全图)。
  5. 点积 x·w = ||x||·||w||·cosθ;一个核学一种图案,点积越大,这块 patch 越像这个核。

课件例题

例 1(课件 p.11):全连接神经元和「大核」一样吗

题面:一张 7×7×1 的数字 1。两个 7×7 的参数格各自和整张图逐元素相乘再求和,得到 h₁、h₂。旁边是一个全连接网络,x₁…x₄₉ 全部连到 h₁、h₂。课件问:Are they different?

左边是 7×7×1 的图,0 为底,绿色的 1 拼成数字 1;它分别和两个 7×7 参数格(w¹₁₁…w¹₇₇ 与 w²₁₁…w²₇₇)做点积 a·b = Σaᵢbᵢ,结果填进右上方网格的 h₁、h₂ 两格,标题 FC-based Implementation。右下角是全连接网络,x₁、x₂…x₄₉ 都连到两个 Σ,得到 h₁、h₂,红色双箭头旁问 Are they different?;左下角附两张 256×256 的示意图,彩色的 3 通道、黑白的 1 通道。
图片来源:COMP5541 L06_Convolutional Neural Networks.pptx, p.11
提示

把全连接里 h₁ 的计算写出来:49 个输入各乘一个权重再加起来。再看参数格的计算是什么。

解答
  1. 全连接:h₁ = w₁x₁ + … + w₄₉x₄₉,49 个权重。
  2. 参数格:7×7 的权重和 7×7 的图逐格相乘求和,也是 49 项。
  3. 结论:两者一样。一个全连接神经元就是一个和整张图一样大的核,只做一次点积。

例 2(课件 p.12):3×3 的核扫 7×7 的图

题面:同一张 7×7 的图,换成 3×3 的核,步长 1,从左上角开始逐格滑动。输出多大?和例 1 比,参数用法有什么不同?

提示

数一数一行能放下几个 3×3 的窗口。参数方面,想想 25 个输出各自用的是哪一套权重。

解答
  1. 一行能放 7 − 3 + 1 = 5 个位置,共 5 行,输出 5×5,即 h₁…h₂₅。
  2. 全连接:每个输出神经元 49 个权重,各有一套。
  3. 卷积:25 个输出共用同一组 9 个权重,每个输出只连一块 3×3 的图块。

例 3(课件 p.30 Q1):卷积层的主要作用是什么?

提示

想想一个核扫完全图后,特征图记录的是什么。

解答

选 D:提取边缘、纹理、形状等空间特征。A 是整个网络加分类头才做的事;B 说反了,卷积一般让尺寸不变或变小;C 是拉平做的事。

例 4(课件 p.30 Q2):处理图像时,CNN 为什么比 FC 好?

提示

对照 FC 的三个毛病,看哪个选项同时说到了位置关系和参数量。

解答

选 A:保留空间结构,并通过权重共享大幅减少参数。B 说「完全防止过拟合」,说过头了;C 是 FC 的做法;D 错,CNN 照样需要 ReLU。

例 5(课件 p.31 Q4):stride S = 2 是什么意思?

提示

stride 管的是核每次挪多远。

解答

选 C:核窗口每次跨两个像素。

例 6(课件 p.33 Q10):训练 CNN 和标准多层感知机的关键区别是什么?

提示

回到权重共享。两者都用反向传播训练。

解答

选 D:CNN 在不同空间位置之间共享权重,多层感知机每条连接都有独立权重。B 错,CNN 照样用反向传播;A 说反了。

完整例题

题面(自编):输入 4×4 的图,四行依次是 1 0 2 1、0 3 1 0、2 1 0 1、1 0 1 2。核是 2×2,第一行 1 0,第二行 0 1(只取左上和右下两个角)。(a) 步长 1,求特征图;(b) 步长 2,求特征图。

解法:

  1. 先定尺寸。(a) (4 − 2)/1 + 1 = 3,输出 3×3;(b) (4 − 2)/2 + 1 = 2,输出 2×2。
  2. 核只保留窗口的左上角和右下角,所以每个位置的分数 = 窗口左上 + 窗口右下。
  3. (a) 第一行三个位置:1 + 3 = 4,0 + 1 = 1,2 + 0 = 2。
  4. 第二行:0 + 1 = 1,3 + 0 = 3,1 + 1 = 2。
  5. 第三行:2 + 0 = 2,1 + 1 = 2,0 + 2 = 2。
  6. (a) 结果三行是 4 1 2、1 3 2、2 2 2。
  7. (b) 步长 2,窗口左上角只落在第 1、3 行和第 1、3 列:1 + 3 = 4,2 + 0 = 2,2 + 0 = 2,0 + 2 = 2。结果两行是 4 2、2 2。

要点:步长 2 的结果正好是步长 1 结果里隔一个取一个的那几格。

答题格式:先写尺寸公式算出输出大小,再逐个位置列出「窗口里哪几个数 × 核」,最后整理成矩阵。

变式题(先自己做)

(1) 9×9 的图、3×3 的核,步长分别取 1 和 2,输出各多大? (2) 32×32 的灰度图,全连接层的一个神经元有多少权重?换成 5×5 的卷积核,一个核有多少权重? (3) x = (1, 2, 2),w = (2, 1, 2)。求点积和 cosθ。

提示

(1) 直接套 (N − k)/s + 1。(2) 全连接要连到全部像素;卷积核只管自己那一块。(3) 先算点积,再算两个长度,代进 ||x||·||w||·cosθ。

判分点与答案(非官方评分标准)

判分点:① 尺寸公式里步长在分母上;② 卷积核权重数和图片大小无关;③ cosθ 要写出两个长度。

(1) 步长 1:(9 − 3)/1 + 1 = 7;步长 2:(9 − 3)/2 + 1 = 4。

(2) 全连接:32 × 32 = 1,024 个权重。卷积核:5 × 5 = 25 个权重,不管图多大都是这么多,而且扫全图时共用。

(3) 点积 2 + 2 + 4 = 8。||x|| = √9 = 3,||w|| = √9 = 3,cosθ = 8/9 ≈ 0.89,方向很接近。

闪卡自测

1. FC 处理图像的三个问题是什么?

容易过拟合、参数多、不保留空间关系(p.8)。

2. 一个全连接神经元可以看成什么样的核?

一个和整张图一样大的核,只做一次点积(p.11)。

3. 7×7 的图、3×3 的核、步长 1,输出多大?

5×5,即 25 个神经元(p.12)。

4. 输出尺寸公式是什么?步长变大,输出怎么变?

(N − k)/s + 1,不补边时成立;步长变大,输出变小(p.12)。

5. 卷积层和全连接层的两个区别是什么?

每个神经元只连一块图块(局部连接);同一个核在全图滑动时共享(权重共享)(p.12、p.34)。

6. 点积的几何意义是什么?输出大说明什么?

x·w = ||x||·||w||·cosθ;输出大说明图块和核越相似,前提是亮度相近(p.13)。

7. 一个核能代表几种图案?

一种,想认多种就要多个核(p.13)。

8. 784 → 128 → 64 → 10 的全连接网络有多少参数?

109,386 个,权重加偏置(p.8)。

下一讲

一个核只认一种图案,图片本身又有红绿蓝三层。下一页讲多个核和多通道输入怎么算、一层有多少参数、层层堆叠时怎么用补边保住尺寸:L06b。

下一讲 →
L06b L06b 通道、参数量与补边:卷积层怎么一层层叠起来

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。