← COMP5511 全部讲次
L04c-2 · 第 4 周

L04c-2 偏差与方差:比较 J_train 和 J_cv,判断模型太简单还是太复杂

从三张拟合图讲起,看懂偏差和方差各指什么,学会只用 J_train 与 J_cv 的相对大小诊断欠拟合和过拟合,再看 λ 怎样把模型推向偏差或方差、12 个候选 λ 怎么挑。

一句话版

模型在新数据上表现差,先比较训练误差和交叉验证误差。两个都高而且差不多,是模型太简单;训练误差低、交叉验证误差高出一截,是模型太复杂。

读之前最好先懂三分法和 J_train、J_cv,见 L04c-1;正则化参数 λ 见 L04b-4。

先认识这几个词

词 全称 / 读法 一句人话
偏差 bias 模型太简单学不会,连训练集都拟合不好
方差 variance 模型太复杂背答案,换一批训练数据结果就大变
欠拟合 underfit 高偏差的另一种叫法
过拟合 overfit 高方差的另一种叫法
诊断 diagnostic 一个能跑的测试,看清算法哪里在工作、哪里出了问题
λ 读「lambda」,正则化参数 惩罚大参数的力度,越大模型被压得越简单

一个类比:家教先看两张成绩单

一个学生成绩不好,家长请了家教。家教不会上来就布置题,先要两张成绩单:练习册的分数和月考的分数。

两张都差,而且差得差不多,说明根本没学会。这时多刷同一本练习册没用,要换更深的教材,这是高偏差。

练习册满分、月考很差,说明他背下了练习册的答案。这时让他少背套路、多见新题,这是高方差。

家教也可以调「管得多严」:管得太死,学生只会一种套路,遇到稍难的题就不会;完全不管,又容易死背。正则化参数 λ 就是这个松紧旋钮。

类比在哪里失效:

  • 家教看分数,分数越高越好;模型看误差,误差越低越好,方向相反。
  • 学生的毛病可能同时有好几种、原因复杂;这一讲的诊断规则只看两个误差的相对大小,规则以外的情况课件没讲。

从零讲起

1. 偏差与方差

它解决什么问题

模型差,可能差在两个相反的方向:太简单或太复杂。方向判断错了,补救就会南辕北辙,比如模型本来就太简单,还去减特征。所以先要给这两种毛病起名字,分清楚。

从哪来(补充)

「偏差—方差」这对说法在机器学习里流行开来,常追溯到 Geman、Bienenstock 和 Doursat 在 1992 年发表于 Neural Computation 的论文 Neural networks and the bias/variance dilemma。论文观察到神经网络的隐藏单元越多,方差越大、偏差越小,两者此消彼长,所以叫「两难」。出处:Wikipedia: Bias–variance tradeoff

直觉

想象你反复从同一个来源抽一批训练数据,每次都训一个模型。

高偏差的模型像一把太短的尺子:每次训出来的结果差不多,可都离真相差一截,错得很稳定。

高方差的模型像一根太软的面条:每次都把这批数据的每个点穿过去,可换一批数据,曲线形状就大变,错得很随机。

一步一步看

目标:用 d = 1、2、4 三条曲线拟合同一组点,看高偏差和高方差在训练集与新数据上各是什么样。

用同一组 5 个点,试三个次数不同的多项式。

  1. d = 1,直线 θ₀ + θ₁x。点明显是弯的,直线两边都偏得较远,连训练点都拟合不好。这是高偏差。

    三幅并排的拟合图,同一组五个点:左图一条直线两边偏离较远,标高偏差欠拟合;中图一条二次曲线平滑贴着点,用青绿标出刚好;右图一条四次曲线弯几道穿过每个点,标高方差过拟合

  2. d = 2,二次曲线。平滑地贴着这几个点走,趋势抓到了,也没有迁就个别点。这是刚好。

  3. d = 4,四次曲线。弯了几道,正好穿过每一个点,训练误差接近 0。来一个新点,它很可能离曲线很远。这是高方差。

  4. 把三种情况列成表:

模型 训练集拟合 新数据 名字
d = 1 差 差 高偏差 / 欠拟合
d = 2 好 好 刚好
d = 4 几乎完美 差 高方差 / 过拟合

怎么判断

问两个问题:

  • 模型在训练集上拟合得好不好?不好,就有偏差问题。
  • 训练集上很好、新数据上却差很多吗?是,就有方差问题。

意思是:偏差看的是训练误差本身的高低,方差看的是新数据误差比训练误差高出多少。下一个概念把这两问换成 J_train 和 J_cv 两个数。

常见误解

以为偏差和方差是两个独立的旋钮,可以同时压到 0

调模型复杂度时,它们通常此消彼长:复杂度往上加,偏差下降、方差上升。能做的是找两者加起来最小的位置,第三页 L04c-3 会把这件事画成一张总图。

以为过拟合的模型训练误差一定是 0

不一定是 0,只是明显比新数据上的误差低。判断看两者的差距,不看训练误差是否恰好为 0。

试一下

一条十次多项式穿过 11 个训练点,训练误差为 0;另一条直线在训练点和新点上误差都很大。各是什么问题?

十次多项式是高方差(过拟合),直线是高偏差(欠拟合)。

2. 用 J_train 和 J_cv 诊断

它解决什么问题

特征一多就画不出拟合图,没法靠眼睛看出直线还是弯曲线。需要一条只用数字就能下的判断规则,而上一页已经有现成的两个数:J_train 和 J_cv。

直觉

J_train 告诉你模型在见过的数据上学得怎么样,J_cv 告诉你它在没见过的数据上怎么样。

两个都高,说明见过的都没学会,问题在模型太简单。见过的学得很好、没见过的很差,说明它背了答案,问题在太复杂。

一步一步看

目标:把 d 从 1 扫到 10 画出 J_train 和 J_cv,看两条线的高低和间隙怎样只用数字分出偏差和方差。

把 d 从 1 扫到 10,每个 d 记下 J_train 和 J_cv,画成两条线。

  1. 看 J_train(训练误差):d 越大,曲线越能贴住训练点,J_train 一路往下走。

    横轴是多项式次数 d,纵轴是误差的示意图:训练误差随 d 增大单调下降,交叉验证误差先降后升呈 U 形;左端两条线都高且接近,标高偏差;右端训练误差很低而交叉验证误差很高,标高方差;谷底标刚好

  2. 看 J_cv(交叉验证误差):先降后升,像字母 U。左边 d 太小,模型学不会;右边 d 太大,模型开始背答案。

  3. 看左端:J_train 高,J_cv 和它差不多一样高。这是高偏差。

  4. 看右端:J_train 很低,J_cv 比它高出一大截。这是高方差。

  5. 谷底那个 d 就是该选的,和上一页用交叉验证集挑 d 是同一件事。

怎么算

高偏差:J_train 高,且 J_cv ≈ J_train。 高方差:J_train 低,且 J_cv ≫ J_train。

意思是:先看 J_train 本身高不高,再看 J_cv 比 J_train 高出多少。两个误差都高而且挨得近,是偏差;两个误差隔得远,是方差。

课件的练习数字可以直接代进去:

  • 模型甲 J_train = 0.5、J_cv = 0.52,两个都高且几乎一样,高偏差。
  • 模型乙 J_train = 0.02、J_cv = 0.45,训练误差很低、交叉验证误差高出很多,高方差。

常见误解

以为 J_cv 高就一定是过拟合

两种问题都会让 J_cv 偏高,单看它分不出原因。要再看 J_train:J_train 也高、两者接近,是偏差;J_train 低、J_cv 远高于它,才是方差。

以为 J_train 低就说明模型没问题

J_train 低只排除了偏差问题,方差问题恰恰常常伴随很低的 J_train。必须和 J_cv 一起看。

试一下

J_train = 3.0、J_cv = 3.2;另一组 J_train = 0.1、J_cv = 2.8。各是什么问题?

第一组两个都高且接近,高偏差。第二组训练误差很低、交叉验证误差高出很多,高方差。

3. λ 怎样影响偏差和方差

它解决什么问题

正则化参数 λ 是另一个超参数。它调大调小,模型会往偏差还是方差那边走?知道了方向,才能把「增大 λ」「减小 λ」这两个补救动作对上号,也才知道 λ 该怎么挑。

直觉

λ 是对大参数的罚款。罚得越重,模型越不敢用高次项,曲线越平,最后被压成一条水平线。罚得越轻,模型越自由,四次项、三次项全用上,曲线越弯。

所以 λ 越大模型越简单,往偏差那边走;λ 越小模型越复杂,往方差那边走。这和 d 的方向正好相反。

一步一步看

目标:固定四次模型只换 λ,看 λ 从大到小怎样把模型从高偏差推到高方差,以及怎样用交叉验证集挑 λ。

模型固定为四次多项式 θ₀ + θ₁x + θ₂x² + θ₃x³ + θ₄x⁴,加 L2 正则化,只换 λ。

  1. λ 很大,比如 λ = 10000。为了少交罚款,θ₁、θ₂、θ₃、θ₄ 都被压到接近 0,只剩 h ≈ θ₀,一条水平线。这是高偏差。

    三幅并排的拟合图,同一组点,模型都是四次多项式:左图 λ 很大,曲线被压成一条青绿色水平线 h 约等于 θ₀,标高偏差;中图 λ 适中,曲线平滑贴合,标刚好;右图 λ 很小,曲线弯来弯去穿过每个点,标高方差

  2. λ 适中。高次项保留一点,曲线平滑贴着点。这是刚好。

  3. λ 很小,接近不正则化。四次项全力迁就每个点,曲线弯来弯去。这是高方差。

  4. 横轴换成 λ,把 J_train 和 J_cv 画出来。J_train 随 λ 增大一路上升,因为罚得越重越难贴合训练集。J_cv 仍是 U 形,只是左边变成方差区、右边变成偏差区。

    横轴是 λ 从小到大的误差示意图:训练误差随 λ 增大单调上升,交叉验证误差呈青绿色 U 形;左边 λ 小标方差区,右边 λ 大标偏差区,谷底标刚好;右侧方框对照 d 图左偏差右方差,λ 图左方差右偏差,两张图左右镜像

  5. 挑 λ 的流程和挑 d 完全一样。课件给的候选是 λ = 0,再从 0.01 起每次翻倍:0.01、0.02、0.04、0.08……一直到 10.24,加起来 12 个。每个 λ 在训练集上训出参数,在交叉验证集上算 J_cv,挑最小的,再去测试集报一次分。

怎么算

训练时最小化:J(θ) = (1/2m) Σ(h_θ(x⁽ⁱ⁾) − y⁽ⁱ⁾)² + (λ/2m) Σ_{j=1}^{n} θ_j²

评估时用:J_train、J_cv、J_test,都是 (1/2m) Σ(h − y)²,没有 λ 那一项。

意思是:λ 只在「学参数」那一步出场,用来管住参数的大小;一旦参数学好了,评估和比较只看预测误差本身,不再加罚款。挑 λ 时比较的是不带正则项的 J_cv。

第二个求和的上限是 n(特征数),对参数求和;θ₀ 不罚,所以从 j = 1 开始。

常见误解

以为 λ 和 d 调大效果一样

方向相反。d 越大模型越复杂,往方差那边走;λ 越大模型越简单,往偏差那边走。所以「减小 λ」治偏差,「增大 λ」治方差。

以为挑 λ 时应该比较带正则项的 J

带正则项的 J 里含 λ 本身,λ 越小这一项越小,比它等于偏袒小 λ。比较要用不带正则项的 J_cv。

试一下

固定四次多项式扫 λ,λ 最大的那个候选 J_train 和 J_cv 都很高且几乎相等。这是什么问题?该往哪边调 λ?

高偏差。λ 太大,参数被压向 0,模型接近水平线。应该减小 λ。

把它们串起来

起点是上一页留下的问题:交叉验证误差偏高,到底是哪种毛病。

先给两种毛病命名。模型太简单,连训练集都拟合不好,叫高偏差;模型太复杂,把训练集的噪声也背下来,叫高方差。

判断只用两个数。J_train 高、J_cv 和它差不多,是偏差;J_train 低、J_cv 高出一大截,是方差。扫 d 时偏差在左、方差在右,J_cv 的谷底就是该选的 d。

λ 是另一个调复杂度的旋钮,方向和 d 相反:λ 大偏差、λ 小方差。挑 λ 的流程和挑 d 一样,候选排一列,交叉验证集比,测试集报分。

还剩一个实际问题没回答:要不要再去收集数据。这要靠下一页的学习曲线。

课件里的坑

  • [课件有误] 正则项的求和上限写成 m(样本数),应为 n(特征数);同一份课件回顾正则化时写的是正确的 n。答题时写 n。
  • [课件取整] 12 个候选 λ 的最后一个,课件写成 10,按翻倍规律精确值是 10.24。
  • [读图提醒] 挑 λ 那页写「Pick (say) θ⁽⁴⁾」,这里的上标指第 4 个候选(λ = 0.04),和挑 d 时的 θ⁽⁴⁾(d = 4)是两回事。
  • [读图提醒] d 图和 λ 图都是 U 形,偏差区和方差区左右对调,读图前先看横轴是哪一个。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟把必背读一遍,重点是第 1 条的两组不等式和第 4 条的镜像关系;中间 4 分钟把课件例题和完整例题走一遍,每张图都说出是偏差还是方差;最后 3 分钟做变式题,先自己答,再展开参考答案对照。

必背

  1. 高偏差(欠拟合):J_train 高且 J_cv ≈ J_train;高方差(过拟合):J_train 低且 J_cv ≫ J_train
  2. d 增大:J_train 单调下降,J_cv 先降后升呈 U 形;d 图左边是偏差区,右边是方差区
  3. λ 很大时 θ_j ≈ 0,h ≈ θ₀ 是水平线,高偏差;λ 很小接近不正则化,高方差
  4. 随 λ 增大 J_train 单调上升,J_cv 呈 U 形,和 d 图左右镜像:λ 图左边方差区、右边偏差区
  5. 选 λ 的流程和选 d 一样:候选从 0.01 起翻倍,加上 λ = 0 共 12 个,交叉验证集挑最小 J_cv,测试集报分
  6. 只有训练目标 J(θ) 带正则项,J_train、J_cv、J_test 三个评估误差都不带

课件例题

例 1(课件 p.27):三张拟合图各是高偏差、刚好还是高方差?

题面:同一组 5 个点,模型依次是 θ₀ + θ₁x、θ₀ + θ₁x + θ₂x²、θ₀ + … + θ₄x⁴。

三张拟合图,同一组红叉,横轴 Size、纵轴 Price:左图 θ₀ + θ₁x 是直线,中图 θ₀ + θ₁x + θ₂x² 是平滑曲线,右图四次多项式穿过每个点并上下扭动
图片来源:COMP5511 Lecture 4 Machine Learning Part I-3 Model selections bias-variance, p.27
提示

看每条线在训练点上贴得怎么样,再想象来一个新点会怎样。

解答

直线:点在线两侧偏得较远,高偏差(欠拟合)。二次曲线:平滑贴着点,刚好。四次曲线:弯了几道穿过每个点,高方差(过拟合)。

例 2(课件 p.28–29):J_cv 偏高,是偏差还是方差?

见下方完整例题。

例 3(课件 p.31):λ 取很大、适中、很小时,四次多项式各拟合成什么样?

题面:模型 θ₀ + θ₁x + θ₂x² + θ₃x³ + θ₄x⁴ 加 L2 正则化,三张图只换 λ;底部说明 λ = 10000 时的情形。

上方是模型 θ₀ + θ₁x + … + θ₄x⁴ 和带 λ/2m Σθⱼ² 惩罚项的代价函数,惩罚项用红框标出;下方三张小图分别标 Large λ、Intermediate λ、Small λ,同一组红叉配三条不同的蓝色曲线
图片来源:COMP5511 Lecture 4 Machine Learning Part I-3 Model selections bias-variance, p.31
提示

λ 是罚款,罚得越重参数越小,曲线越平。

解答

λ 很大:几乎水平的直线,高偏差。λ = 10000 时 θ₁ ≈ 0、θ₂ ≈ 0……只剩 h ≈ θ₀。λ 适中:平滑贴合,刚好。λ 很小:弯来弯去穿过每个点,高方差。λ 大对应偏差、λ 小对应方差,和 d 的方向相反。

例 4(课件 p.33):怎样挑 λ?候选有哪些?

题面:模型和代价同例 3,课件列出一列候选 λ,从 λ = 0 到 λ = 10,图中写 Pick (say) θ⁽⁴⁾。

提示

找出候选之间的规律,再套用挑 d 的流程。

解答

候选是 λ = 0,加上从 0.01 起每次翻倍的 0.01、0.02、0.04、0.08、0.16、0.32、0.64、1.28、2.56、5.12、10.24,共 12 个;课件把最后一个写成 10。每个 λ 在训练集上最小化带正则项的 J 得到 θ⁽ᵏ⁾,在交叉验证集上算不带正则项的 J_cv(θ⁽ᵏ⁾),挑最小的,课件示例挑出第 4 个(λ = 0.04),最后报 J_test(θ⁽⁴⁾)。

例 5(课件 p.34):横轴换成 λ,J_train 和 J_cv 各怎么变?

题面:左上是训练时最小化的 J(θ)(含正则项),右上是 J_train 和 J_cv(不含正则项),下方是两条误差随 λ 从小到大的曲线。

提示

先想 λ 变大时训练集还能不能贴得住,再想两端各是偏差还是方差。

解答

J_train 随 λ 增大单调上升,惩罚越重越难贴合训练集。J_cv 是 U 形:左端 λ 小时高,标 Variance;右端 λ 大时高,标 bias;谷底是 Just right。和 d 那张图左右镜像:d 图左偏差右方差,λ 图左方差右偏差。

完整例题

课件 p.28 画出两条误差随 d 变化的曲线,p.29 给出诊断规则,合起来是一道完整的诊断题。

题面:多项式回归预测房价,你发现交叉验证误差 J_cv 偏高。(1) 随着 d 从 1 增大到 10,J_train 和 J_cv 各怎么变?(2) 怎样判断此时是偏差问题还是方差问题?(3) 课件给的两组数:模型甲 J_train = 0.5、J_cv = 0.52;模型乙 J_train = 0.02、J_cv = 0.45,各是什么问题?

  1. 两条曲线的形状:d 越大,曲线越能贴住训练点,J_train 单调下降;J_cv 先降后升呈 U 形(p.28)。
  2. 左端和右端:左端 d 小,两条线都高且接近,是偏差区;右端 d 大,J_train 很低而 J_cv 很高,是方差区(p.28)。
  3. 诊断规则:J_train 高且 J_cv ≈ J_train 是高偏差(欠拟合);J_train 低且 J_cv ≫ J_train 是高方差(过拟合)(p.29)。
  4. 模型甲:J_train = 0.5 很高,J_cv = 0.52 和它几乎一样,高偏差。补救方向是提高复杂度,比如加特征、加多项式项、减小 λ。
  5. 模型乙:J_train = 0.02 很低,J_cv = 0.45 远高于它,高方差。补救方向是降低复杂度或加数据,比如减特征、增大 λ、多收训练样本。

这道题的结论要单独记:J_cv 偏高本身不说明方向,一定要配上 J_train 一起看。

答题格式:先写 J_train 高低,再写 J_cv 与 J_train 的差距,最后下结论并各给两个补救动作。

变式题(先自己做)

自编情境:多项式回归预测房价,数字为构造。

(a) d = 1 时 J_train = 42.0、J_cv = 44.5;d = 6 时 J_train = 2.1、J_cv = 39.7。各是什么问题? (b) 固定 d = 6 改扫 λ,λ = 10.24 时 J_train 和 J_cv 都很大且几乎相等,这是什么问题,为什么? (c) J_cv 对 λ 的曲线和 J_cv 对 d 的曲线,各自哪一边是方差区?

提示

先看 J_train 高不高,再看 J_cv 比它高出多少。λ 从大到小相当于模型从简单到复杂。

判分点与答案(非官方评分标准)

判分点:① (a) 两个结论都要写出依据(J_train 高低 + 两者差距);② (b) 要说出参数被压向 0;③ (c) 两张图的方向都要写对。

(a) d = 1:J_train = 42.0 很高,J_cv = 44.5 和它接近,高偏差。d = 6:J_train = 2.1 很低,J_cv = 39.7 远高于它,高方差。

(b) 高偏差。λ = 10.24 时惩罚太重,所有 θ_j 被压向 0,h ≈ θ₀ 接近一条水平线;J_train 和 J_cv 都高且相等正是偏差的特征。

(c) λ 图的左边(λ 小)是方差区,右边是偏差区;d 图相反,右边(d 大)是方差区。

追加一题:某同学挑 λ 时比较的是带正则项的 J,结果总挑出 λ = 0。错在哪?

带正则项的 J 里包含 λ Σθ_j²,λ = 0 时这一项直接消失,而且模型最自由、训练误差最低,比较它必然偏袒 λ = 0。应该比较不带正则项的 J_cv。

闪卡自测

1. J_train 高、J_cv ≈ J_train,是什么问题?

高偏差、欠拟合(p.29)。

2. J_train 低、J_cv ≫ J_train,是什么问题?

高方差、过拟合(p.29)。

3. 随着 d 增大,J_train 和 J_cv 各怎么变?

J_train 单调下降;J_cv 先降后升呈 U 形,谷底就是该选的 d(p.28)。

4. λ = 10000 时模型长什么样,属于哪种问题?

θ_j ≈ 0,h ≈ θ₀ 是水平线,高偏差欠拟合(p.31)。

5. 候选 λ 有几个,规律是什么?

12 个:λ = 0,加上从 0.01 起每次翻倍到 10.24(课件写 10)(p.33)。

6. 哪个式子里有 λ?

只有训练时最小化的 J(θ)。J_train、J_cv、J_test 都不带正则项(p.32)。

7. d 图和 λ 图的偏差区各在哪边?

d 图偏差在左(d 小),λ 图偏差在右(λ 大),左右镜像(p.34)。

下一讲

下一页 L04c-3 换一个横轴:训练样本数 m。学习曲线回答「再去收集数据值不值」,并把六个补救动作和偏差、方差一一配对。

下一讲 →
L04c-3 L04c-3 学习曲线:再收集数据值不值,六个补救动作怎么对号入座

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。