L09b 卷积自编码器:转置卷积、尺寸链和潜在表示
把自编码器的全连接层换成卷积:编码器用步长 2 的卷积把 28×28 的手写数字缩到 10 个数,解码器用转置卷积放大回去。这一页手算转置卷积 2×2 → 4×4,推完整条尺寸链,再看这 10 个数能拿来做什么。
一句话版
图片用卷积处理比全连接省参数、还保留位置关系。卷积自编码器的编码器用步长 2 的卷积一层层把图缩小,解码器要反过来一层层放大,放大用的是转置卷积。
中间缩到最小的那份编码只有 10 个数。手写数字的这 10 个数画出来,同一个数字会聚成一团。
先认识这几个词
读之前最好记得卷积层的步长、补零和输出尺寸怎么算,不熟可以先看 CNN 那一讲。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 卷积自编码器 | convolutional autoencoder | 编码器、解码器都用卷积搭的自编码器 |
| 下采样 | downsample | 让特征图变小 |
| 上采样 | upsample | 让特征图变大 |
| 转置卷积 | transposed convolution,又叫 deconvolution | 能把特征图放大的卷积 |
| 步长 s | stride | 卷积核每次挪几格 |
| 补零 p | padding | 在特征图四周补一圈 0 |
| Flatten / Reshape | 摊平 / 重排 | 把方块拉成一长串 / 把一长串叠回方块 |
一个类比:把一张大地图折小再展开
一张大地图对折一次变成一半大,再对折又小一半,最后折成能塞进口袋的小方块。展开时按相反顺序一折一折打开,回到原来的大小。
编码器的每层卷积就是一次对折,边长减半。解码器的每层转置卷积就是一次展开,边长加倍。口袋里那个小方块就是中间的 10 个数。
类比在哪里失效:
- 地图折起来什么也不丢,展开和原来一模一样。自编码器缩小时会丢信息,放大回来只是近似。
- 展开地图只是把折痕打开。转置卷积放大时要用卷积核去「填」新格子里的数,这些数是训练学出来的。
- 折小的地图还是那张地图。中间的 10 个数已经看不出图的样子,只有解码器读得懂。
从零讲起
1. 转置卷积:把小图放大
它解决什么问题
普通卷积配上步长 2,特征图只会越变越小。解码器要从很小的特征图还原出 28×28 的图,需要一种能让特征图变大、而且参数能学的层。转置卷积就是这种层。
从哪来(补充)
转置卷积的尺寸关系在 Dumoulin 与 Visin 2016 年写的 A guide to convolution arithmetic for deep learning 里有完整推导:一个转置卷积总可以写成在补过零的输入上做一次普通卷积。出处:arXiv: A guide to convolution arithmetic for deep learning。
直觉
想让 2×2 的图变成 4×4,最直接的办法是先在四周补很多 0,把图撑大,再用一个普通卷积核在上面滑。补的 0 不带信息,只是给卷积核留出滑动的位置。
另一种看法:输入的每个数乘上整个卷积核,「盖」在输出上对应的位置,重叠的地方相加。两种看法算出来的结果一样。
一步一步看
目标:用课件动画里的设置,把 2×2 的输入补零、滑卷积核,手算出 4×4 的输出。
-
课件的示意:下面是 2 x 2 x K₂ 的输入,上面是放大后的 4 x 4 x K₁ 输出。
图片来源:COMP5541 Lecture 9 课件, p.12 -
补零:输入 [[1, 2], [3, 4]] 四周各补 2 圈 0,变成 6×6。卷积核 3×3、步长 1,输出边长 6 − 3 + 1 = 4。
-
为了好算,卷积核 9 个数都取 1。放在左上角时,框里只有 1 这一个非零数,输出第一格是 1。
-
滑到第 2 行第 2 列,框住 1、2、3、4 全部,输出是 10。每格都这样算,得到完整的 4×4。
-
自查:每个输入数被卷积核的 9 个 1 各算一次,所以输出 16 个数之和是 (1 + 2 + 3 + 4) × 9 = 90。
怎么算
转置卷积:H_out = (H_in − 1)·s − 2p + k
普通卷积:H_out = ⌊(H_in + 2p − k)/s⌋ + 1
意思是:H_in 是输入边长,s 是步长,p 是补零,k 是卷积核边长。课件动画是 H_in = 2、s = 1、p = 0、k = 3,代入得 (2 − 1)·1 + 3 = 4。
两条公式互为反向:一个 k = 3、s = 2 的普通卷积把 7 变成 3,同样参数的转置卷积把 3 变回 7。公式出自 PyTorch 文档里 Conv2d 和 ConvTranspose2d 两页(略去 dilation 和 output_padding)。
常见误解
以为转置卷积是把普通卷积「撤销」,能精确还原原图
转置卷积只是让尺寸反过来,数值并不还原。它的卷积核是另外一组参数,训练时和编码器一起学,目标是让最后的输出接近原图。
以为放大就是把每个像素复制几份
复制像素是最近邻插值,没有可学的参数。转置卷积用卷积核去算新格子里的数,卷积核里的数是训练学出来的,所以能学会怎么补细节。
试一下
输入 3×3,转置卷积 k = 2、s = 2、p = 0,输出多大?
(3 − 1)·2 + 2 = 6,输出 6×6。
2. 卷积自编码器的尺寸链
它解决什么问题
课件给了一张 MNIST 卷积自编码器的结构图,每层只写了尺寸。考试常让你补出中间某层的尺寸,或者解释 1152、10 这些数从哪来。要会从一层推下一层。
直觉
编码器每层卷积步长都是 2,边长大约减半:28 到 14 再到 7。第三层没有补零,7 变成 3。通道数一路加倍:1、32、64、128。
到 3x3x128 时把方块拉成一长串,共 1152 个数,再用全连接层压到 10 个。解码器沿原路倒回去。
一步一步看
目标:从 28x28x1 出发逐层推到 10,再推回 28x28x1,每一层的数都要能用公式验算。
-
课件结构图:左半 Downsample,右半 Upsample,红框圈出的 DeConv3 就是上一节的转置卷积。
图片来源:COMP5541 Lecture 9 课件, p.12 -
Conv1、Conv2 补零让边长正好减半:28 → 14 → 7,通道 32、64。
-
Conv3:k = 3、不补零、s = 2,⌊(7 − 3)/2⌋ + 1 = 3,得到 3x3x128。
-
Flatten:3 × 3 × 128 = 1152 个数;全连接压到 h 的 10 个数。
-
解码器:全连接回到 1152,Reshape 成 3x3x128;DeConv3 用 (3 − 1)·2 + 3 = 7 回到 7x7x64,再两次加倍回到 14、28。
| 层 | 输出尺寸 | 怎么来的 |
|---|---|---|
| 输入 | 28x28x1 | MNIST 灰度图 |
| Conv1 | 14x14x32 | 补零,s = 2,边长减半 |
| Conv2 | 7x7x64 | 补零,s = 2,边长减半 |
| Conv3 | 3x3x128 | 不补零,⌊(7 − 3)/2⌋ + 1 |
| Flatten → FC | 1152 → 10 | 3 × 3 × 128 = 1152 |
| FC → Reshape | 1152 → 3x3x128 | 倒回去 |
| DeConv3 | 7x7x64 | (3 − 1)·2 + 3 |
| DeConv2、DeConv1 | 14x14x32、28x28x1 | 边长加倍 |
怎么算
每层输出边长按卷积公式推,通道数等于这一层卷积核的个数。
意思是:边长只和输入边长、k、s、p 有关,通道数只和这一层用了几个卷积核有关,两件事分开算。课件没写卷积核大小,按这张图的来源 DCEC 的官方代码,Conv1、Conv2 是 5×5,Conv3 是 3×3,解码器对称。
压缩比:输入 784 个数,h 只有 10 个,压了 78.4 倍。
常见误解
以为 7 经过步长 2 一定变成 4(向上取整)
要看补不补零。课件这一层不补零,k = 3,⌊(7 − 3)/2⌋ + 1 = 3。前两层补零才是「边长除以 2」。
以为 1152 是随便选的
1152 是 3 × 3 × 128,正好是 Conv3 输出摊平后的长度。解码器的全连接层也要输出 1152 个数,才能 Reshape 回 3x3x128。
试一下
如果把 h 从 10 改成 32,网络里还有哪几层的尺寸要跟着改?
只有中间两层全连接:1152 → 32 和 32 → 1152。其余卷积层、Flatten 后的 1152、Reshape 都不变。
3. 潜在表示学到了什么、能拿来做什么
它解决什么问题
训练好的自编码器,输出只是原图的近似,用处不大。真正有价值的是中间的 h。课件最后问:自编码器学到了什么?潜在表示是什么?要能回答,还要说出 h 能用在哪。
直觉
10 个数要还原一整张手写数字,就得留住「这是几、笔画往哪歪」这类最关键的信息。两张都写 7 的图,关键信息差不多,h 也就挨得很近。
所以把很多张图的 h 画出来,同一数字的点会聚成一团。训练时一张标签也没用,这些团是自己长出来的。
一步一步看
目标:把一批手写数字送进编码器,看它们的 h 画成散点图后是什么样子,再列出 h 的五种用法。
-
把 MNIST 的手写数字图片一张张送进训练好的编码器,每张得到一个 10 维的 h。
-
把 10 维的 h 画到二维平面上,按真实数字 0–9 上色。
图片来源:COMP5541 Lecture 9 课件, p.13 -
同一颜色的点聚在一起,大约 10 团。颜色只是画图时才加上的,训练没用到。
-
这份短编码可以直接拿去用,课件列了五种。
-
课件没说散点图怎么把 10 维画成 2 维,看图时只要抓住「同类挨在一起」这一点。
怎么判断
问一个应用是不是在用 h,就看它用的是中间的编码还是最后的输出。
意思是:降维、聚类、推荐、特征提取都只用编码器和 h;图像压缩存 h,要看图时再用解码器还原,两半都用到。
常见误解
以为散点图里的团是按标签训练出来的
训练只用重构误差,没有标签。颜色是画图时按真实数字加上去的,用来说明不看标签也能学到按数字区分的编码。
以为 h 的每个数都对应一个人能看懂的含义,比如「粗细」「倾斜」
普通自编码器不保证这一点,h 的每一维通常没有明确含义。课件只说同类样本的编码挨在一起。
试一下
想在一万张没有标签的手写数字里找出和某张图最像的 5 张,自编码器怎么帮忙?
把所有图片送进编码器得到 h,算目标图的 h 和其他 h 的距离,取最近的 5 张。这是用 h 做相似度检索。
把它们串起来
卷积自编码器把全连接换成卷积。编码器用步长 2 的卷积下采样,28×28 一路缩到 3x3x128,摊平成 1152 个数,再压到 10 个。
解码器要倒着放大,用的是转置卷积:在补过零的小图上滑卷积核,2×2 能变成 4×4,3 能变回 7。每层尺寸都能用两条公式推出来。
中间的 10 个数就是潜在表示。它留住了还原图片最关键的信息,同一数字的编码会聚成一团,所以能拿去做降维、压缩、聚类、推荐和特征提取。下一页换一个方向:把单个神经元换成一组数组成的胶囊。
课件里的坑
- [留白] p.12 没写卷积核大小和补零方式,只能从尺寸倒推。这张图和 DCEC 论文的图一致,官方代码里 Conv1、Conv2 是 5×5 补零,Conv3 是 3×3 不补零。
- [留白] p.13 的散点图把 10 维画成 2 维,课件没说用的什么降维方法。
- [留白] p.13 红框问 What does autoencoder learn? What are the latent representations? 课件没给答案,答法见本页第 3 节。
- [术语] p.12 的 Transposed Convolutional Layer 括号里写 Deconvolutional Layer。两个名字指同一种层,但它和数学上「反卷积」(把卷积精确撤销)不是一回事。
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写尺寸链,每层说出用了哪条公式;再手算一次 2×2 → 4×4 的转置卷积;最后用两三句话回答「自编码器学到了什么」。
必背
- 转置卷积(反卷积)把小特征图放大:课件例子 2 x 2 → 4 x 4,用在解码器里做上采样。
- 转置卷积的输出边长:(H_in − 1)·s − 2p + k;普通卷积的输出边长:⌊(H_in + 2p − k)/s⌋ + 1。
- 课件卷积自编码器:28x28x1 → 14x14x32 → 7x7x64 → 3x3x128 → Flatten 1152 → h(10)。
- 解码器倒着走:10 → FC 1152 → Reshape 3x3x128 → DeConv3 → 7x7x64 → DeConv2 → 14x14x32 → DeConv1 → 28x28x1。
- 编码器是 Downsample(卷积 stride 2),解码器是 Upsample(转置卷积 stride 2)。
- 潜在表示 h 是输入的短编码,同类样本的编码挨在一起;应用:降维、图像压缩、聚类、推荐系统、特征提取。
课件例题
例 1(课件 p.12):补全尺寸链
题面:卷积自编码器 28x28x1 → Conv1 → ? → Conv2 → 7x7x64 → Conv3 → 3x3x128 → Flatten → ? → FC → h(10)。补出两个问号,并说明 Flatten 后的数怎么来。
提示
Conv1 步长 2,边长减半;通道数看 Conv2 前面那层该是多少,课件图上写着 32。
解答
Conv1 输出 14x14x32;Flatten 后 3 × 3 × 128 = 1152 个数。
例 2(课件 p.12):转置卷积怎么把 2 x 2 变成 4 x 4
题面:课件动画里 2×2 的输入经过转置卷积变成 4×4。卷积核 3×3、步长 1,说明尺寸是怎么变大的,并用公式验算。
提示
动画里输入四周有一圈虚线格。补完是多大?
解答
输入四周各补 2 圈 0,变成 6×6;3×3 卷积核以步长 1 滑过,6 − 3 + 1 = 4,得到 4×4。用转置卷积公式:(2 − 1)·1 − 0 + 3 = 4,一致。
例 3(课件 p.13):自编码器学到了什么
题面:What does autoencoder learn? What are the latent representations?
提示
训练只看重构误差。只有 10 个数,却要还原整张图,这 10 个数得装什么?
解答
自编码器学的是一种压缩方式:编码器把输入压成短编码,解码器能从编码还原输入。潜在表示 h 就是这份短编码,保留了还原输入最需要的信息,所以同一数字的编码聚在一起,可以拿去降维、聚类或当特征。
例 4(课件 p.27):How does AE work
题面:Take-home 第 2 条:用课件列的关键词 encoding、decoding、latent code、transposed convolutional layer 说明自编码器怎么工作。
提示
按数据流的顺序把四个词串起来。
解答
Encoding:编码器(卷积,stride 2)把输入一层层缩小,得到 latent code h;decoding:解码器用 transposed convolutional layer 一层层放大,从 h 还原出和输入一样大的图;训练时最小化还原图和输入之间的误差,不需要标签。
完整例题
自编情境。一个卷积自编码器输入 32x32x3(彩色图)。编码器三层卷积都是 k = 3、s = 2,前两层 p = 1,第三层 p = 0,通道依次 16、32、64,摊平后全连接到 h = 20。(a) 推出三层卷积的输出尺寸。(b) Flatten 后有几个数?(c) 解码器第一层转置卷积 k = 3、s = 2、p = 0,能不能从第三层的尺寸放大回第二层的尺寸?
- Conv1:⌊(32 + 2 − 3)/2⌋ + 1 = 15 + 1 = 16,输出 16x16x16。
- Conv2:⌊(16 + 2 − 3)/2⌋ + 1 = 7 + 1 = 8,输出 8x8x32。
- Conv3:⌊(8 − 3)/2⌋ + 1 = 2 + 1 = 3,输出 3x3x64。
- Flatten:3 × 3 × 64 = 576 个数。
- 转置卷积:(3 − 1)·2 − 0 + 3 = 7,不等于 8。
- 要回到 8,可以多补一行:PyTorch 的 output_padding = 1 让输出变成 8。
答案:(a) 16x16x16、8x8x32、3x3x64;(b) 576;(c) 直接放大只到 7,要加 output_padding = 1 才回到 8。
要点:每层边长按公式算,不要默认「减半」;转置卷积不一定正好倒回原尺寸。
答题格式:每层写出公式、代入、结果,最后把尺寸链连成一行。
变式题(先自己做)
(1) 改编自课件 p.12:把课件的 h 从 10 改成 2,压缩比变成多少?还能画出散点图吗? (2) 改编自课件 p.12:如果 Conv3 改成补零(p = 1),Flatten 后有几个数? (3) 自编情境:转置卷积输入 4×4,k = 4、s = 2、p = 1,输出多大?
提示
(1) 784 除以 2。(2) 先算 Conv3 的边长。(3) 直接代转置卷积公式。
判分点与答案(非官方评分标准)
判分点:① 公式代对;② 摊平长度 = 边长² × 通道;③ 压缩比 = 输入长度 / h 长度。
- (1) 784 / 2 = 392 倍;h 只有 2 维,可以直接画在平面上,不用再降维。
- (2) ⌊(7 + 2 − 3)/2⌋ + 1 = 4,Flatten = 4 × 4 × 128 = 2048。
- (3) (4 − 1)·2 − 2 + 4 = 8,输出 8×8。
闪卡自测
1. 转置卷积的作用?
把特征图放大(上采样),用在解码器里(p.12)。
2. 转置卷积的另一个名字?
Deconvolutional Layer(反卷积层)(p.12)。
3. 课件动画里 2×2 怎么变成 4×4?
四周补 0 撑到 6×6,3×3 卷积核步长 1 滑过,得 4×4(p.12)。
4. 转置卷积输出边长公式?
(H_in − 1)·s − 2p + k。
5. 编码器的尺寸链?
28x28x1 → 14x14x32 → 7x7x64 → 3x3x128 → 1152 → 10(p.12)。
6. 1152 怎么来?
3 × 3 × 128,Conv3 输出摊平(p.12)。
7. 7 为什么变成 3 不是 4?
Conv3 不补零、k = 3、s = 2,⌊(7 − 3)/2⌋ + 1 = 3。
8. Downsample 和 Upsample 各指哪半边?
Downsample 是编码器,Upsample 是解码器(p.12)。
9. 潜在表示的五种应用?
降维、图像压缩、聚类、推荐系统、特征提取(p.13)。
10. MNIST 的 h 画成散点图是什么样?
同一数字的点聚成一团,大约 10 团(p.13)。
下一讲
下一页 L09c 讲胶囊层:把一个数换成一个向量,看输入向量怎么变换、加权相加,再用 squash 把长度压进 0 和 1 之间。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。