← COMP5541 全部讲次
L09b · 第 11 周

L09b 卷积自编码器:转置卷积、尺寸链和潜在表示

把自编码器的全连接层换成卷积:编码器用步长 2 的卷积把 28×28 的手写数字缩到 10 个数,解码器用转置卷积放大回去。这一页手算转置卷积 2×2 → 4×4,推完整条尺寸链,再看这 10 个数能拿来做什么。

一句话版

图片用卷积处理比全连接省参数、还保留位置关系。卷积自编码器的编码器用步长 2 的卷积一层层把图缩小,解码器要反过来一层层放大,放大用的是转置卷积。

中间缩到最小的那份编码只有 10 个数。手写数字的这 10 个数画出来,同一个数字会聚成一团。

先认识这几个词

读之前最好记得卷积层的步长、补零和输出尺寸怎么算,不熟可以先看 CNN 那一讲。

词 全称 / 读法 一句人话
卷积自编码器 convolutional autoencoder 编码器、解码器都用卷积搭的自编码器
下采样 downsample 让特征图变小
上采样 upsample 让特征图变大
转置卷积 transposed convolution,又叫 deconvolution 能把特征图放大的卷积
步长 s stride 卷积核每次挪几格
补零 p padding 在特征图四周补一圈 0
Flatten / Reshape 摊平 / 重排 把方块拉成一长串 / 把一长串叠回方块

一个类比:把一张大地图折小再展开

一张大地图对折一次变成一半大,再对折又小一半,最后折成能塞进口袋的小方块。展开时按相反顺序一折一折打开,回到原来的大小。

编码器的每层卷积就是一次对折,边长减半。解码器的每层转置卷积就是一次展开,边长加倍。口袋里那个小方块就是中间的 10 个数。

类比在哪里失效:

  1. 地图折起来什么也不丢,展开和原来一模一样。自编码器缩小时会丢信息,放大回来只是近似。
  2. 展开地图只是把折痕打开。转置卷积放大时要用卷积核去「填」新格子里的数,这些数是训练学出来的。
  3. 折小的地图还是那张地图。中间的 10 个数已经看不出图的样子,只有解码器读得懂。

从零讲起

1. 转置卷积:把小图放大

它解决什么问题

普通卷积配上步长 2,特征图只会越变越小。解码器要从很小的特征图还原出 28×28 的图,需要一种能让特征图变大、而且参数能学的层。转置卷积就是这种层。

从哪来(补充)

转置卷积的尺寸关系在 Dumoulin 与 Visin 2016 年写的 A guide to convolution arithmetic for deep learning 里有完整推导:一个转置卷积总可以写成在补过零的输入上做一次普通卷积。出处:arXiv: A guide to convolution arithmetic for deep learning。

直觉

想让 2×2 的图变成 4×4,最直接的办法是先在四周补很多 0,把图撑大,再用一个普通卷积核在上面滑。补的 0 不带信息,只是给卷积核留出滑动的位置。

另一种看法:输入的每个数乘上整个卷积核,「盖」在输出上对应的位置,重叠的地方相加。两种看法算出来的结果一样。

一步一步看

目标:用课件动画里的设置,把 2×2 的输入补零、滑卷积核,手算出 4×4 的输出。

  1. 课件的示意:下面是 2 x 2 x K₂ 的输入,上面是放大后的 4 x 4 x K₁ 输出。

    课件转置卷积示意图:下层是 2 乘 2 的蓝色输入格子,四周有一圈虚线格表示补的 0,上层是 4 乘 4 的青色输出格子,一个 3 乘 3 的卷积核把下层一块区域连到上层一格;右边标 2 x 2 x K2 箭头指向 4 x 4 x K1
    图片来源:COMP5541 Lecture 9 课件, p.12
  2. 补零:输入 [[1, 2], [3, 4]] 四周各补 2 圈 0,变成 6×6。卷积核 3×3、步长 1,输出边长 6 − 3 + 1 = 4。

    左边 2×2 输入 1 2 / 3 4 描成青绿,箭头指向右边 6×6 的方格,中间 4 格是 1 2 3 4,四周虚线格都是 0;右边写 6 − 3 + 1 = 4,输出是 4×4

  3. 为了好算,卷积核 9 个数都取 1。放在左上角时,框里只有 1 这一个非零数,输出第一格是 1。

    6×6 补零方格左上角画一个青绿的 3×3 框,框里只有右下角是 1;右边 4×4 输出只填了第一格 1,描成青绿

  4. 滑到第 2 行第 2 列,框住 1、2、3、4 全部,输出是 10。每格都这样算,得到完整的 4×4。

    6×6 方格上青绿的 3×3 框移到第 2 行第 2 列,框住 1 2 3 4;右边 4×4 输出完整填出:1 3 3 2 / 4 10 10 6 / 4 10 10 6 / 3 7 7 4,第 2 行第 2 列的 10 描成青绿

  5. 自查:每个输入数被卷积核的 9 个 1 各算一次,所以输出 16 个数之和是 (1 + 2 + 3 + 4) × 9 = 90。

怎么算

转置卷积:H_out = (H_in − 1)·s − 2p + k

普通卷积:H_out = ⌊(H_in + 2p − k)/s⌋ + 1

意思是:H_in 是输入边长,s 是步长,p 是补零,k 是卷积核边长。课件动画是 H_in = 2、s = 1、p = 0、k = 3,代入得 (2 − 1)·1 + 3 = 4。

两条公式互为反向:一个 k = 3、s = 2 的普通卷积把 7 变成 3,同样参数的转置卷积把 3 变回 7。公式出自 PyTorch 文档里 Conv2d 和 ConvTranspose2d 两页(略去 dilation 和 output_padding)。

常见误解

以为转置卷积是把普通卷积「撤销」,能精确还原原图

转置卷积只是让尺寸反过来,数值并不还原。它的卷积核是另外一组参数,训练时和编码器一起学,目标是让最后的输出接近原图。

以为放大就是把每个像素复制几份

复制像素是最近邻插值,没有可学的参数。转置卷积用卷积核去算新格子里的数,卷积核里的数是训练学出来的,所以能学会怎么补细节。

试一下

输入 3×3,转置卷积 k = 2、s = 2、p = 0,输出多大?

(3 − 1)·2 + 2 = 6,输出 6×6。

2. 卷积自编码器的尺寸链

它解决什么问题

课件给了一张 MNIST 卷积自编码器的结构图,每层只写了尺寸。考试常让你补出中间某层的尺寸,或者解释 1152、10 这些数从哪来。要会从一层推下一层。

直觉

编码器每层卷积步长都是 2,边长大约减半:28 到 14 再到 7。第三层没有补零,7 变成 3。通道数一路加倍:1、32、64、128。

到 3x3x128 时把方块拉成一长串,共 1152 个数,再用全连接层压到 10 个。解码器沿原路倒回去。

一步一步看

目标:从 28x28x1 出发逐层推到 10,再推回 28x28x1,每一层的数都要能用公式验算。

  1. 课件结构图:左半 Downsample,右半 Upsample,红框圈出的 DeConv3 就是上一节的转置卷积。

    课件卷积自编码器结构图:左边手写数字 2 的 28x28x1 输入,经过 Conv1、Conv2、Conv3 三层 stride=2 的卷积变成 14x14x32、7x7x64、3x3x128,Flatten 成 1152,中间 h 是 10,再经 FC 1152、Reshape 3x3x128、DeConv3、DeConv2、DeConv1 还原成 28x28x1 的数字 2;左半标 Downsample,右半标 Upsample,DeConv3 被红框圈出
    图片来源:COMP5541 Lecture 9 课件, p.12
  2. Conv1、Conv2 补零让边长正好减半:28 → 14 → 7,通道 32、64。

  3. Conv3:k = 3、不补零、s = 2,⌊(7 − 3)/2⌋ + 1 = 3,得到 3x3x128。

  4. Flatten:3 × 3 × 128 = 1152 个数;全连接压到 h 的 10 个数。

  5. 解码器:全连接回到 1152,Reshape 成 3x3x128;DeConv3 用 (3 − 1)·2 + 3 = 7 回到 7x7x64,再两次加倍回到 14、28。

    从左到右九个方块:28×28×1、14×14×32、7×7×64、3×3×128、h:10、3×3×128、7×7×64、14×14×32、28×28×1,方块高度按边长画,中间的 h:10 描成青绿;下方说明边长减半和 1152 压到 10

层 输出尺寸 怎么来的
输入 28x28x1 MNIST 灰度图
Conv1 14x14x32 补零,s = 2,边长减半
Conv2 7x7x64 补零,s = 2,边长减半
Conv3 3x3x128 不补零,⌊(7 − 3)/2⌋ + 1
Flatten → FC 1152 → 10 3 × 3 × 128 = 1152
FC → Reshape 1152 → 3x3x128 倒回去
DeConv3 7x7x64 (3 − 1)·2 + 3
DeConv2、DeConv1 14x14x32、28x28x1 边长加倍

怎么算

每层输出边长按卷积公式推,通道数等于这一层卷积核的个数。

意思是:边长只和输入边长、k、s、p 有关,通道数只和这一层用了几个卷积核有关,两件事分开算。课件没写卷积核大小,按这张图的来源 DCEC 的官方代码,Conv1、Conv2 是 5×5,Conv3 是 3×3,解码器对称。

压缩比:输入 784 个数,h 只有 10 个,压了 78.4 倍。

常见误解

以为 7 经过步长 2 一定变成 4(向上取整)

要看补不补零。课件这一层不补零,k = 3,⌊(7 − 3)/2⌋ + 1 = 3。前两层补零才是「边长除以 2」。

以为 1152 是随便选的

1152 是 3 × 3 × 128,正好是 Conv3 输出摊平后的长度。解码器的全连接层也要输出 1152 个数,才能 Reshape 回 3x3x128。

试一下

如果把 h 从 10 改成 32,网络里还有哪几层的尺寸要跟着改?

只有中间两层全连接:1152 → 32 和 32 → 1152。其余卷积层、Flatten 后的 1152、Reshape 都不变。

3. 潜在表示学到了什么、能拿来做什么

它解决什么问题

训练好的自编码器,输出只是原图的近似,用处不大。真正有价值的是中间的 h。课件最后问:自编码器学到了什么?潜在表示是什么?要能回答,还要说出 h 能用在哪。

直觉

10 个数要还原一整张手写数字,就得留住「这是几、笔画往哪歪」这类最关键的信息。两张都写 7 的图,关键信息差不多,h 也就挨得很近。

所以把很多张图的 h 画出来,同一数字的点会聚成一团。训练时一张标签也没用,这些团是自己长出来的。

一步一步看

目标:把一批手写数字送进编码器,看它们的 h 画成散点图后是什么样子,再列出 h 的五种用法。

  1. 把 MNIST 的手写数字图片一张张送进训练好的编码器,每张得到一个 10 维的 h。

  2. 把 10 维的 h 画到二维平面上,按真实数字 0–9 上色。

    课件左边是一大片 MNIST 手写数字图片,绿色箭头指向右边的二维散点图,点按数字 0 到 9 上色,同一颜色的点聚成一团,大约十团,右侧有 0 到 9 的颜色条
    图片来源:COMP5541 Lecture 9 课件, p.13
  3. 同一颜色的点聚在一起,大约 10 团。颜色只是画图时才加上的,训练没用到。

  4. 这份短编码可以直接拿去用,课件列了五种。

    左边输入图片 784 个数经编码器得到 h(10 个数,描成青绿);右边五条分支:降维、压缩、聚类、推荐、特征提取

  5. 课件没说散点图怎么把 10 维画成 2 维,看图时只要抓住「同类挨在一起」这一点。

怎么判断

问一个应用是不是在用 h,就看它用的是中间的编码还是最后的输出。

意思是:降维、聚类、推荐、特征提取都只用编码器和 h;图像压缩存 h,要看图时再用解码器还原,两半都用到。

常见误解

以为散点图里的团是按标签训练出来的

训练只用重构误差,没有标签。颜色是画图时按真实数字加上去的,用来说明不看标签也能学到按数字区分的编码。

以为 h 的每个数都对应一个人能看懂的含义,比如「粗细」「倾斜」

普通自编码器不保证这一点,h 的每一维通常没有明确含义。课件只说同类样本的编码挨在一起。

试一下

想在一万张没有标签的手写数字里找出和某张图最像的 5 张,自编码器怎么帮忙?

把所有图片送进编码器得到 h,算目标图的 h 和其他 h 的距离,取最近的 5 张。这是用 h 做相似度检索。

把它们串起来

卷积自编码器把全连接换成卷积。编码器用步长 2 的卷积下采样,28×28 一路缩到 3x3x128,摊平成 1152 个数,再压到 10 个。

解码器要倒着放大,用的是转置卷积:在补过零的小图上滑卷积核,2×2 能变成 4×4,3 能变回 7。每层尺寸都能用两条公式推出来。

中间的 10 个数就是潜在表示。它留住了还原图片最关键的信息,同一数字的编码会聚成一团,所以能拿去做降维、压缩、聚类、推荐和特征提取。下一页换一个方向:把单个神经元换成一组数组成的胶囊。

课件里的坑

  • [留白] p.12 没写卷积核大小和补零方式,只能从尺寸倒推。这张图和 DCEC 论文的图一致,官方代码里 Conv1、Conv2 是 5×5 补零,Conv3 是 3×3 不补零。
  • [留白] p.13 的散点图把 10 维画成 2 维,课件没说用的什么降维方法。
  • [留白] p.13 红框问 What does autoencoder learn? What are the latent representations? 课件没给答案,答法见本页第 3 节。
  • [术语] p.12 的 Transposed Convolutional Layer 括号里写 Deconvolutional Layer。两个名字指同一种层,但它和数学上「反卷积」(把卷积精确撤销)不是一回事。

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写尺寸链,每层说出用了哪条公式;再手算一次 2×2 → 4×4 的转置卷积;最后用两三句话回答「自编码器学到了什么」。

必背

  1. 转置卷积(反卷积)把小特征图放大:课件例子 2 x 2 → 4 x 4,用在解码器里做上采样。
  2. 转置卷积的输出边长:(H_in − 1)·s − 2p + k;普通卷积的输出边长:⌊(H_in + 2p − k)/s⌋ + 1。
  3. 课件卷积自编码器:28x28x1 → 14x14x32 → 7x7x64 → 3x3x128 → Flatten 1152 → h(10)。
  4. 解码器倒着走:10 → FC 1152 → Reshape 3x3x128 → DeConv3 → 7x7x64 → DeConv2 → 14x14x32 → DeConv1 → 28x28x1。
  5. 编码器是 Downsample(卷积 stride 2),解码器是 Upsample(转置卷积 stride 2)。
  6. 潜在表示 h 是输入的短编码,同类样本的编码挨在一起;应用:降维、图像压缩、聚类、推荐系统、特征提取。

课件例题

例 1(课件 p.12):补全尺寸链

题面:卷积自编码器 28x28x1 → Conv1 → ? → Conv2 → 7x7x64 → Conv3 → 3x3x128 → Flatten → ? → FC → h(10)。补出两个问号,并说明 Flatten 后的数怎么来。

提示

Conv1 步长 2,边长减半;通道数看 Conv2 前面那层该是多少,课件图上写着 32。

解答

Conv1 输出 14x14x32;Flatten 后 3 × 3 × 128 = 1152 个数。

例 2(课件 p.12):转置卷积怎么把 2 x 2 变成 4 x 4

题面:课件动画里 2×2 的输入经过转置卷积变成 4×4。卷积核 3×3、步长 1,说明尺寸是怎么变大的,并用公式验算。

提示

动画里输入四周有一圈虚线格。补完是多大?

解答

输入四周各补 2 圈 0,变成 6×6;3×3 卷积核以步长 1 滑过,6 − 3 + 1 = 4,得到 4×4。用转置卷积公式:(2 − 1)·1 − 0 + 3 = 4,一致。

例 3(课件 p.13):自编码器学到了什么

题面:What does autoencoder learn? What are the latent representations?

提示

训练只看重构误差。只有 10 个数,却要还原整张图,这 10 个数得装什么?

解答

自编码器学的是一种压缩方式:编码器把输入压成短编码,解码器能从编码还原输入。潜在表示 h 就是这份短编码,保留了还原输入最需要的信息,所以同一数字的编码聚在一起,可以拿去降维、聚类或当特征。

例 4(课件 p.27):How does AE work

题面:Take-home 第 2 条:用课件列的关键词 encoding、decoding、latent code、transposed convolutional layer 说明自编码器怎么工作。

提示

按数据流的顺序把四个词串起来。

解答

Encoding:编码器(卷积,stride 2)把输入一层层缩小,得到 latent code h;decoding:解码器用 transposed convolutional layer 一层层放大,从 h 还原出和输入一样大的图;训练时最小化还原图和输入之间的误差,不需要标签。

完整例题

自编情境。一个卷积自编码器输入 32x32x3(彩色图)。编码器三层卷积都是 k = 3、s = 2,前两层 p = 1,第三层 p = 0,通道依次 16、32、64,摊平后全连接到 h = 20。(a) 推出三层卷积的输出尺寸。(b) Flatten 后有几个数?(c) 解码器第一层转置卷积 k = 3、s = 2、p = 0,能不能从第三层的尺寸放大回第二层的尺寸?

  1. Conv1:⌊(32 + 2 − 3)/2⌋ + 1 = 15 + 1 = 16,输出 16x16x16。
  2. Conv2:⌊(16 + 2 − 3)/2⌋ + 1 = 7 + 1 = 8,输出 8x8x32。
  3. Conv3:⌊(8 − 3)/2⌋ + 1 = 2 + 1 = 3,输出 3x3x64。
  4. Flatten:3 × 3 × 64 = 576 个数。
  5. 转置卷积:(3 − 1)·2 − 0 + 3 = 7,不等于 8。
  6. 要回到 8,可以多补一行:PyTorch 的 output_padding = 1 让输出变成 8。

答案:(a) 16x16x16、8x8x32、3x3x64;(b) 576;(c) 直接放大只到 7,要加 output_padding = 1 才回到 8。

要点:每层边长按公式算,不要默认「减半」;转置卷积不一定正好倒回原尺寸。

答题格式:每层写出公式、代入、结果,最后把尺寸链连成一行。

变式题(先自己做)

(1) 改编自课件 p.12:把课件的 h 从 10 改成 2,压缩比变成多少?还能画出散点图吗? (2) 改编自课件 p.12:如果 Conv3 改成补零(p = 1),Flatten 后有几个数? (3) 自编情境:转置卷积输入 4×4,k = 4、s = 2、p = 1,输出多大?

提示

(1) 784 除以 2。(2) 先算 Conv3 的边长。(3) 直接代转置卷积公式。

判分点与答案(非官方评分标准)

判分点:① 公式代对;② 摊平长度 = 边长² × 通道;③ 压缩比 = 输入长度 / h 长度。

  1. (1) 784 / 2 = 392 倍;h 只有 2 维,可以直接画在平面上,不用再降维。
  2. (2) ⌊(7 + 2 − 3)/2⌋ + 1 = 4,Flatten = 4 × 4 × 128 = 2048。
  3. (3) (4 − 1)·2 − 2 + 4 = 8,输出 8×8。

闪卡自测

1. 转置卷积的作用?

把特征图放大(上采样),用在解码器里(p.12)。

2. 转置卷积的另一个名字?

Deconvolutional Layer(反卷积层)(p.12)。

3. 课件动画里 2×2 怎么变成 4×4?

四周补 0 撑到 6×6,3×3 卷积核步长 1 滑过,得 4×4(p.12)。

4. 转置卷积输出边长公式?

(H_in − 1)·s − 2p + k。

5. 编码器的尺寸链?

28x28x1 → 14x14x32 → 7x7x64 → 3x3x128 → 1152 → 10(p.12)。

6. 1152 怎么来?

3 × 3 × 128,Conv3 输出摊平(p.12)。

7. 7 为什么变成 3 不是 4?

Conv3 不补零、k = 3、s = 2,⌊(7 − 3)/2⌋ + 1 = 3。

8. Downsample 和 Upsample 各指哪半边?

Downsample 是编码器,Upsample 是解码器(p.12)。

9. 潜在表示的五种应用?

降维、图像压缩、聚类、推荐系统、特征提取(p.13)。

10. MNIST 的 h 画成散点图是什么样?

同一数字的点聚成一团,大约 10 团(p.13)。

下一讲

下一页 L09c 讲胶囊层:把一个数换成一个向量,看输入向量怎么变换、加权相加,再用 squash 把长度压进 0 和 1 之间。

下一讲 →
L09c L09c 胶囊层:向量进、向量出,变换、加权和与 squash

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。