← COMP5541 全部讲次
L05c · 第 7 周

L05c 正则化:L2、L1、早停和 dropout 怎么防过拟合

从「模型把训练集背下来了」讲起,看 L2 和 L1 怎么在梯度里加一股把权重往 0 拉的力,再看早停、dropout、数据增强从另外三个方向下手。

一句话版

过拟合是模型把训练集背了下来,换一批数据就不灵。正则化就是各种「别背太死」的办法。

一类办法改损失函数:L2 和 L1 在损失里加一项惩罚权重大小,梯度里就多出一股把权重往 0 拉的力。另一类不碰公式:数据增强多造样本,早停在验证误差最低时收手,dropout 每轮随机关掉一些单元。

上一页处理的是欠拟合,也就是学不动。这一页处理反方向的问题:学过头。

先认识这几个词

词 全称 / 读法 一句人话
过拟合 overfitting 训练集上很好,没见过的数据上变差
正则化 regularization 防过拟合的各种手段的总称
正则化系数 α 读「阿尔法」 惩罚项的分量,越大越重视「权重小」
L2 正则 也叫 weight decay、权重衰减 惩罚权重的平方和
L1 正则 L1 regularization 惩罚权重的绝对值之和
稀疏 sparse 很多权重正好等于 0
验证集 validation set 训练时不拿来更新参数、专门用来看效果的数据

一个类比:备考背题

一个学生把练习册的答案逐字背下来,练习册上的题全对,考试换了数字就不会。这就是过拟合。

L2 像老师说「每道题的解法别写太长」:长的砍得多,短的砍得少,砍完都还在。L1 像「每道题固定扣一点篇幅」:短的解法扣着扣着就没了,只留下真有用的几道。

早停是在模拟考成绩开始下滑时停止刷题。数据增强是把同一道题换着数字、换着问法多练几遍。dropout 是复习时随机遮住几页笔记,逼自己别只靠某几页。

类比在哪里失效:

  • 学生会主动理解题目,网络不会。正则化只是在数学上让「贴死训练集」变得更贵。
  • α 不能随便加大。课件说 α 太大会欠拟合,相当于砍得太狠,连该会的都不会了。

从零讲起

1. L2 正则化

它解决什么问题

过拟合的模型往往靠一些很大的权重去贴合训练集里的个别点。L2 正则在损失里加上权重平方和,权重越大罚得越重。模型只好在「训练误差小」和「权重小」之间折中,学到的函数更平滑。

从哪来(补充)

在统计里,给线性回归加平方惩罚叫岭回归,由 Hoerl 和 Kennard 1970 年在 Technometrics 上首次提出。在机器学习里它也叫 weight decay 或 L2 正则化。

出处:Wikipedia: Ridge regression

直觉

正则项像一根弹簧,一头拴在 0,一头拴在权重上。权重离 0 越远,弹簧拉得越紧;离 0 越近,拉力越弱。

所以 L2 会把每个权重按比例压小,大的压得多、小的压得少,但很难压到正好为 0。

一步一步看

目标:只看正则项,让 w 从 0.5 每步乘 0.98,看 L2 怎样把权重越压越小却永远到不了 0。

只看正则项的作用:设原损失对这个权重的梯度为 0,α = 0.1,η = 0.1,w 从 0.5 出发。

  1. 每一步,w 乘上 1 − 2×0.1×0.1 = 0.98。

  2. 第 1 步:0.5 × 0.98 = 0.49。

  3. 第 2 步:0.49 × 0.98 = 0.4802。每步减少的量都比上一步少一点。

  4. 继续走:10 步后约 0.4085,50 步后约 0.1821。越来越接近 0,但永远不会正好等于 0。

    横轴步数、纵轴权重 w。黑线是 L2,每步乘 0.98,10 步后 0.4085、50 步后 0.1821;青绿线是 L1,每步减 0.01,第 50 步正好到 0

图里的青绿线是下一个概念 L1,先留个印象:它是一条直线,一路降到 0。

怎么算

新损失:

ℓₙₑw = α·||W||² + ℓ(W) = α·(w₁² + w₂² + … + w_K²) + ℓ(W)

意思是:在原来的损失 ℓ(W) 上,加网络里全部 K 个权重的平方和,再乘系数 α。

对 w₁ 求导,只有 w₁² 一项和 w₁ 有关:

dℓₙₑw/dw₁ = 2α·w₁ + dℓ/dw₁

意思是:新梯度 = 原来 BP 算出的梯度 + 2αw₁。原来那项完全不用重算,正则项只是在每个权重的梯度上各加一个 2αw。

代入梯度下降:

w ← w − η(2αw + dℓ/dw) = (1 − 2ηα)·w − η·dℓ/dw

意思是:每一步先把 w 乘一个略小于 1 的系数(1 − 2ηα),再按原梯度走。权重每步都「衰减」一点,所以叫 weight decay。

常见误解

以为 L2 的梯度是 α·w

平方求导要乘 2,结果是 2α·w。考试最容易丢分的就是漏掉这个 2。

以为 α 越大越好,反正越不容易过拟合

α 越大,模型越重视「权重小」、越不重视训练误差。α 太大,权重被压得太狠,模型连训练集都拟合不好,变成欠拟合。

试一下

α = 0.05,η = 0.1,原梯度为 0。w = 0.4 走一步 L2 后是多少?

每步乘 1 − 2×0.1×0.05 = 0.99,w = 0.4 × 0.99 = 0.396。

2. L1 正则化

它解决什么问题

L2 只能把权重压小,很少压到 0。有时希望模型干脆不用某些输入,让一部分权重正好为 0,这样模型更简单。L1 把平方换成绝对值,做到这一点。

从哪来(补充)

统计里的对应方法叫 Lasso。它 1986 年先在地球物理领域被提出,1996 年 Robert Tibshirani 重新发现并推广。它也叫 L1 正则化,会把一部分系数压成正好为 0。

出处:Wikipedia: Lasso (statistics)

直觉

L1 的拉力像一个固定重量的砝码,不管权重离 0 多近,拉力都一样大。

L2 的弹簧到了 0 附近几乎不使劲,L1 的砝码照样往下拽。所以 L1 能把那些对损失贡献不大的权重一路推到 0。

一步一步看

目标:同样从 0.5 出发每步减 0.01,再对比两种拉力,看 L1 为什么能把权重推到正好为 0。

同样的设定:α = 0.1,η = 0.1,w 从 0.5 出发,原梯度为 0。

  1. 每一步,w 减去 η·α = 0.1×0.1 = 0.01,和 w 本身多大无关。

  2. 第 1 步:0.5 − 0.01 = 0.49;第 2 步:0.48。

  3. 10 步后 0.40,50 步后正好到 0。回看上一张图的青绿直线。

  4. 再把两种拉力和 w 的关系画出来:L2 的拉力 2αw 是一条过原点的斜线,L1 是一条水平线。w = 0.05 时,L2 拉力 2×0.1×0.05 = 0.01,L1 拉力 0.1。

    横轴权重 w、纵轴正则项的拉力。L2 的拉力是一条过原点的斜线,L1 是高度 0.1 的水平虚线;在 w = 0.05 处用青绿箭头标出两者相差 10 倍

  5. 离 0 越近,两者差得越多。L2 只能压小,L1 能推到 0。

怎么算

新损失:

ℓₙₑw = α·||W|| + ℓ(W) = α·(|w₁| + |w₂| + … + |w_K|) + ℓ(W)

意思是:把 L2 的平方和换成绝对值之和。这里的 ||W|| 按展开式读作所有 |wᵢ| 相加。

对 w₁ 求导:

dℓₙₑw/dw₁ = α·sign(w₁) + dℓ/dw₁

意思是:新梯度 = 原梯度 + α 乘 w₁ 的符号。sign 是符号函数,正数取 +1,负数取 −1。拉力大小始终是 α,方向总是指向 0。

两种正则的梯度并排比:

加在梯度上的项 拉力随 w 变小 结果
L2 2α·w 跟着变小 只压小,不归零
L1 α·sign(w) 不变 倾向稀疏,很多权重变 0

常见误解

以为 L1 一定比 L2 好,因为模型更简单

两者各有用途。L1 适合想让模型只用少数几个输入的场合;L2 让所有权重一起变小,函数更平滑。课件只比较了它们的效果,没说谁更好。

以为按 L1 的式子一直走,w 会稳稳停在 0

纯按式子走,到 0 附近会在两侧来回跳。底稿补充说,实现中会处理成停在 0。

试一下

α = 0.2,η = 0.5,原梯度为 0。w = −0.3 走一步 L1 后是多少?

sign(−0.3) = −1,梯度 = 0.2×(−1) = −0.2,w = −0.3 − 0.5×(−0.2) = −0.2。负的权重被往上拉,也是朝 0 走。

3. Early stopping(早停)

它解决什么问题

训练轮数越多,模型越有机会把训练集背下来。训练误差会一路下降,可在没见过的数据上,误差到某个时刻就开始回升。早停的做法是一直盯着验证误差,在它最低的时候停下。

直觉

验证集是模拟考。刷题初期,练习册和模拟考成绩一起涨;刷到一定程度,练习册还在进步,模拟考却开始退步。退步那一刻就该停。

训练越久,模型实际用到的复杂度越高。所以这张图和「误差随模型复杂度变化」的曲线是同一个形状,只是横轴换成了训练轮数。

一步一步看

目标:在训练和验证两条误差曲线上找该停的那一轮,看停早了偏差大、停晚了方差大。

  1. 横轴是 Epochs(训练轮数),纵轴是 Error。训练集和验证集各画一条误差曲线。

  2. 训练误差一路下降。

  3. 验证误差先降后升。在它的最低点画一条竖线,就是该停的地方。

    横轴训练轮数、纵轴误差。黑实线训练误差一路下降,灰虚线验证误差先降后升,最低点有一条青绿竖虚线标「在这里停」,左侧写 Increasing Bias,右侧写 Increasing Variance

  4. 竖线左边标 Increasing Bias:停得太早,模型还没学够,偏差大。

  5. 竖线右边标 Increasing Variance:停得太晚,模型过拟合,方差大。

怎么判断

停在哪:验证误差最低的那一轮。

意思是:判断依据是验证误差,不看训练误差。训练误差会一直下降,等它最低时模型早就过拟合了。

实际操作中,每训练一轮就在验证集上算一次误差,记下最好的那一轮。

常见误解

以为早停要等训练误差不再下降

训练误差几乎总在下降,等它停下来模型早已过拟合。标准是验证误差最低点。

试一下

训练了 30 轮,验证误差在第 12 轮最低,之后一直上升。应该用哪一轮的模型?竖线右边那段叫什么?

用第 12 轮的模型。右边那段验证误差上升,模型过拟合,图上标 Increasing Variance。

4. Dropout 与数据增强

它解决什么问题

前三个手段改的是损失函数和训练时长。还有两个方向:改网络结构和改数据。dropout 每轮随机关掉一部分单元,让每个单元不能依赖固定的几个搭档。数据增强对训练图像做不改变标签的变换,等于免费增加样本。

从哪来(补充)

以 dropout 这个名字首次提出的是 Hinton 等人 2012 年的论文《Improving neural networks by preventing co-adaptation of feature detectors》。更早的文献把类似做法叫 dilution。推理(测试)时通常关掉 dropout。

出处:Wikipedia: Dilution (neural networks)

直觉

一个小组做项目,总有人只靠某个能干的同学。每次开会随机让几个人缺席,剩下的人就得各自顶上,每个人都学到一些本事。dropout 对单元做的就是这件事。

数据增强像把一张小猫照片裁剪一下、翻个面、转个角度,它还是小猫。模型看了这些变体,就不容易记住某张具体的图。

一步一步看

目标:看一轮 dropout 关掉哪些单元、剩下怎样的小网络,再把四种正则化手段按改哪里排开。

  1. 左边是完整网络:输入层、两个隐藏层,每层 5 个单元,全部相连。

  2. 这一轮训练随机关掉一部分:输入层丢 2 个,第一隐藏层丢 3 个,第二隐藏层丢 2 个。

  3. 连到被丢单元的线全部去掉,剩下的连线组成一个更小的网络,这一轮只训练它。

    左边完整网络三层各 5 个单元全连接;右边这一轮 dropout 后,输入层丢 2 个、隐藏层 1 丢 3 个、隐藏层 2 丢 2 个,被丢的单元打青绿叉,连线去掉

  4. 下一个 mini-batch 重新随机,丢的是另一批单元。测试时用完整网络。

  5. 把四种正则化手段放在一起看,各管一个方向:

    手段 改哪里 做法
    L1 / L2 损失函数 惩罚权重大小
    data augmentation 数据 裁剪、翻转、旋转训练图像
    early stopping 训练过程 验证误差最低时停
    dropout 网络结构 每轮随机关掉一部分单元

怎么算

训练时每个单元以概率 p 被关掉,保留下来的输出除以 (1 − p):

保留单元的输出 ← 原输出 / (1 − p)

意思是:关掉一部分以后,总输出的期望会变小,除以 (1 − p) 把它补回来,这样训练和测试时的期望输出一致。

例:4 个单元输出和为 20,p = 0.5。随机保留后期望和是 20 × 0.5 = 10,再除以 0.5 恢复到 20。

课件这一页只给了名字和图,没有公式;这个缩放是底稿补充的常见做法。

常见误解

以为测试时也要随机丢单元

dropout 只在训练时用。测试(推理)时用完整网络,所有单元都在。

以为数据增强可以随便变换

变换不能改变标签。小猫翻转后还是小猫;如果一种变换会让图片变成另一类,它就不能拿来增强。

试一下

某层输出和为 12,p = 0.25。随机保留后期望和是多少?要乘回什么数才能恢复?

期望和 = 12 × (1 − 0.25) = 9,除以 0.75(等于乘 4/3)恢复到 12。

把它们串起来

过拟合是模型把训练集背得太死。四个手段从四个方向下手。

L2 和 L1 改损失函数,在每个权重的梯度上加一项:L2 加 2αw,拉力随权重变小而变小,只把权重压小;L1 加 α·sign(w),拉力恒定,能把权重推到 0。

early stopping 管训练过程,在验证误差最低时停。dropout 管网络结构,每轮随机关掉一部分单元。数据增强管数据,用不改变标签的变换多造样本。

回到上一讲的 dℓ/dw₁ 表达式:换激活函数改的是里面的 σ′,加正则化是在后面加一项 2αw₁ 或 α·sign(w₁),加动量改的是更新规则。下一页回答一个更根本的问题:这样的网络到底能表示多复杂的函数。

课件里的坑

  • [读图提醒] p.20 把 L1 范数写成 ||W||,没有下标。不加下标的 ||W|| 一般指 L2 范数,这里按展开式应读作 Σ|wᵢ|
  • [读图提醒] p.20 的 |w| 在 0 处不可导,sign(0) 课件没定义。实现中通常取 0
  • [记号重叠] p.19–21 的 α 是正则化系数、学习率写成 η;p.12 动量那页的 α 是动量参数、学习率是 ε。按上下文判断
  • [范围] p.22 三种方法只给名字和图,没有公式。dropout 的 (1 − p) 缩放和「测试时用完整网络」是补充内容
  • [读图提醒] p.22 早停图上的 Increasing Bias / Increasing Variance 沿用前面讲过的偏差和方差概念,对象从线性回归换成了深度网络

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先写出 L2、L1 正则后的损失和对 w₁ 的梯度;再用 α = 0.1、η = 0.1、w = 0.5 各走一步;然后说出四种手段各管哪个方向;最后回查早停停在哪条曲线的最低点。

必背

  1. L2 梯度加 2αw,按比例压小权重;L1 梯度加 α·sign(w),拉力恒定,倾向稀疏。
  2. L2 更新式 w ← (1 − 2ηα)·w − η·dℓ/dw,每步先乘一个略小于 1 的系数,所以也叫 weight decay。
  3. L2 求导出来是 2α 不是 α;正则项只在每个权重的梯度上加一项,原来 BP 算的 dℓ/dw 不用重算。
  4. early stopping 停在验证误差最低点;data augmentation 和 dropout 也是正则化。
  5. 三种手段各管一个方向:data augmentation 管数据,early stopping 管训练过程,dropout 管网络结构。
  6. dropout 训练时按概率 p 随机关掉单元,保留的输出除以 (1 − p);测试时用完整网络。

课件例题

例 5(课件 p.19):加 L2 正则后对 w₁ 求导

题面:新损失 ℓnew = α·(w₁² + w₂² + … + w_K²) + ℓ(W)。求 dℓnew/dw₁,并写出梯度下降更新式。

提示

求和里只有一项含 w₁。更新式代入 w ← w − η·梯度,把含 w 的项合并。

解答
  1. 只有 w₁² 一项含 w₁:dℓnew/dw₁ = 2αw₁ + dℓ/dw₁。后一项就是 BP 原来算的,不用重算。
  2. 更新:w ← w − η(2αw + dℓ/dw) = (1 − 2ηα)·w − η·dℓ/dw。每步先把 w 乘一个略小于 1 的系数,所以 L2 也叫 weight decay。

例 6(课件 p.20–21):换成 L1,和 L2 比

题面:ℓnew = α·(|w₁| + |w₂| + … + |w_K|) + ℓ(W)。求 dℓnew/dw₁,并解释为什么 L1 会得到稀疏的 W。

提示

|w| 的导数是什么?再比较 w 很小时两种正则项的拉力。

解答
  1. dℓnew/dw₁ = α·sign(w₁) + dℓ/dw₁,sign 正数取 +1、负数取 −1。
  2. L2 的拉力 2αw 随 w 变小而变小,L1 的拉力始终是 α。
  3. 例如 w = 0.05、α = 0.1 时,L2 拉力 0.01,L1 拉力 0.1,大 10 倍。L1 会把贡献不大的权重推到 0,L2 只压小不归零。

完整例题

题面(自编情境:课件 p.19–20 的正则化只给了公式,没给数据):某权重 w = 0.2,BP 算出 dℓ/dw = −0.1,α = 0.1,η = 0.5。(a) 用 L2 正则化算一步更新。(b) 用 L1 正则化算一步更新。(c) 解释两者结果为什么不同。

解法:

  1. (a) L2 梯度 = 2αw + dℓ/dw = 2×0.1×0.2 + (−0.1) = 0.04 − 0.1 = −0.06。
  2. w = 0.2 − 0.5×(−0.06) = 0.2 + 0.03 = 0.23。
  3. (b) L1 梯度 = α·sign(w) + dℓ/dw = 0.1×(+1) + (−0.1) = 0。
  4. w = 0.2 − 0.5×0 = 0.2,停在原地。
  5. (c) 原损失的梯度是负的,想把 w 推大。L1 的拉力 0.1 恰好和它抵消;L2 的拉力只有 0.04,挡不住,w 还是变大了。

要点:先分别写出正则项,再加原梯度,最后代入更新式。sign 只看正负,不看大小。

答案:(a) 0.23;(b) 0.2;(c) L1 拉力恒为 α,正好抵消原梯度;L2 拉力 2αw 在 w 较小时偏弱。

答题格式:每种正则写三行:梯度 = 正则项 + 原梯度 = 数值;w = 旧值 − η × 梯度 = 数值;一句话结论。

变式题(先自己做)

(1) 自编情境:w = −0.3,dℓ/dw = 0.05,α = 0.2,η = 0.5,分别用 L2、L1 算一步。哪个把 w 往 0 拉得更多? (2) 自编情境:w = 0.4,dℓ/dw = 0.3,α = 0.05,η = 0.1,分别用 L2 和 L1 正则化算一步更新后的 w。

提示

(1) sign(−0.3) = −1,L1 的拉力方向朝 0,也就是让 w 变大。(2) 两种正则的梯度都是「正则项 + 0.3」,先算正则项。

判分点与答案(非官方评分标准)

判分点:① L2 的系数写成 2α;② L1 的符号函数取对正负;③ 更新式代入时符号正确。

(1) L2:梯度 = 2×0.2×(−0.3) + 0.05 = −0.07,w = −0.3 + 0.035 = −0.265。L1:梯度 = 0.2×(−1) + 0.05 = −0.15,w = −0.3 + 0.075 = −0.225。L1 往 0 拉得更多。

(2) L2:梯度 = 2×0.05×0.4 + 0.3 = 0.34,w = 0.4 − 0.034 = 0.366。L1:梯度 = 0.05 + 0.3 = 0.35,w = 0.4 − 0.035 = 0.365。

闪卡自测

1. L2 正则化后 dℓₙₑw/dw₁ 是什么?

2α·w₁ + dℓ/dw₁(p.19)。

2. L1 正则化后 dℓₙₑw/dw₁ 是什么?为什么它会产生稀疏解?

α·sign(w₁) + dℓ/dw₁;拉力大小恒定,不随 w 变小而减弱,能把权重推到 0(p.20–21)。

3. 为什么 L2 也叫 weight decay?

更新式是 w ← (1 − 2ηα)·w − η·dℓ/dw,每步先把权重乘一个略小于 1 的系数(p.19)。

4. early stopping 图上竖虚线两侧分别标了什么?

左侧 Increasing Bias,右侧 Increasing Variance;虚线在验证误差最低点(p.22)。

5. early stopping 为什么不在训练误差最低时停?

训练误差会一直下降,那时模型已经过拟合;应在验证误差最低时停(p.22)。

6. data augmentation、early stopping、dropout 各从哪个方向防过拟合?

数据、训练过程、网络结构(p.22)。

7. dropout 测试时还丢单元吗?

不丢,测试时用完整网络;训练时保留的输出除以 (1 − p) 让期望一致(p.22,缩放为补充)。

下一讲

本讲最后一页讲通用近似定理:ReLU 网络是分段线性函数,拐点足够多就能贴近任意曲线。见 L05d。

下一讲 →
L05d L05d 通用近似定理:ReLU 网络是一条可以无限折弯的折线

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。