← COMP5541 全部讲次
L02a · 第 3 周

L02a 线性回归:定一条直线,用最小二乘一次算出系数

从「回归」这个词讲起:先把模型写成 y = wᵀx + b,再用均方误差给直线打分,最后用求导把误差最小的 w、b 一次算出来。

一句话版

线性回归先把预测公式的形状定成一条直线,再从数据里找出让误差最小的斜率和截距。误差用「每个点差多少,平方后取平均」来量,最小的那一组可以用公式一次算出来。

这一页讲模型长什么样、误差怎么量、最优解怎么算。没有现成公式时怎么一步步逼近,见下一页 L02a-2。参数模型和非参数模型的区别,见 L01a。

先认识这几个词

词 全称 / 读法 一句人话
回归 regression 预测一个连续的数,比如房价
w、b 权重 weight、偏置 bias 公式里待填的系数:w 管斜率,b 管截距
wᵀx 读「w 转置乘 x」 w 和 x 对应位置相乘再加起来
Σ 读「西格玛」,求和号 把后面那一项对所有样本加起来
残差 residual 真值减预测值,点到直线的竖直距离
MSE Mean Squared Error,均方误差 每个点的误差平方后取平均,越小越好
导数 derivative 曲线在某一点的斜率,正负告诉你往哪边走会下降

一个类比:中介 A 的定价公式

上一讲有两个中介。B 把整本成交簿子背下来,A 只在纸条上留几个系数。这一讲说的是 A。

A 的纸条上写着 价格 = w × 面积 + b。w 是每平方英尺加多少钱,b 是面积为 0 时公式给出的值,也就是截距。课件的演示代码(demo)用的就是这张纸条:特征是面积 GrLivArea,标签是房价 SalePrice。

纸条的形状是 A 自己定的,课件叫 Stage 1。把 w 和 b 填成具体数字,才叫训练,课件叫 Stage 2。怎么填?A 先给自己定个规矩:拿旧成交记录来对,报价和成交价差得越少越好。差多少,就用「差值平方后取平均」来算。

有了这条规矩,最好的 w、b 能直接算出来。把所有成交记录代进一个现成公式,一次就得到答案。

类比在哪里失效:

  • 真实房价没有一条藏着的「正确直线」。成交价本身带噪声,最好的直线误差也到不了零。
  • A 的纸条只有面积一项。课件的模型可以有很多个特征,每个特征配一个自己的 w。

从零讲起

1. 回归和线性模型

它解决什么问题

你手上有一批带答案的数据,比如每套房子的面积和成交价。你想要一个公式:输入新房子的面积,输出一个价格。输出是连续的数,这类问题叫回归。线性模型是最简单的一种公式:每个特征乘一个系数,加起来,再加一个常数。

从哪来(补充)

「回归」这个词来自 19 世纪的 Francis Galton。他研究身高遗传,发现高个子父母的孩子,身高往往往平均值回落一点,他把这个现象叫 regression toward the mean。后来这个词被拿来泛指「用一个变量预测另一个连续变量」的统计方法。

出处:Wikipedia: Regression analysis

直觉

模型的形状先定死,只留几个数字待填。填好以后,整张训练表就可以扔掉,预测只用这几个数字。这就是参数模型。

数字有几个,看的是表有几列,跟表有几行无关。表从一千行涨到一百万行,要填的数字个数不变。

一步一步看

目标:用四特征的表数出要学几个数,看补一列恒为 1 的特征后,偏置 b 怎样并进权重。

课件用一张 4 个特征的表来演示。

  1. 表里每一行是一个样本:4 个特征 x₁ 到 x₄,加一个标签 y。第一行是 (0.2, 1, 10, −3),标签 0.4。

  2. 给每个特征配一个权重:x₁ 配 w₁,x₂ 配 w₂,依次类推。再加一个偏置 b。

  3. 预测值 = 每个特征乘自己的权重,加起来,再加 b。

  4. 数一数要填的数字:4 个权重加 1 个 b,一共 5 个。表再多几千行,也还是 5 个。

  5. 给表补一列恒为 1 的 x₅。w₅ 乘的永远是 1,它干的就是 b 的活。于是公式里不再需要单独的 b。

    课件的四特征表 x₁ 到 x₄ 加标签 y,右边多补一列 x₅,五行都是 1,用青绿框出;下方写 y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + w₅·1,注明 w₅ 就是 b,参数仍是 5 个

怎么算

模型有三种等价写法:

  • 逐项展开:y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b
  • 行向量乘列向量:y = [w₁ w₂ w₃ w₄] · [x₁; x₂; x₃; x₄] + b
  • 最紧凑:y = wᵀx + b

意思是:w 和 x 都是长度为 D 的一列数,wᵀx 把它们对应位置相乘再加起来,得到一个数,再加 b 就是预测值。

wᵀx 的形状是 1×D 乘 D×1,结果是 1×1,也就是一个标量。所以本讲的线性回归每次只输出一个数。

参数个数 = D + 1。D 是特征个数,这里 D = 4,所以是 5 个。

补一列常数 1 之后,把 x 写成 (x₁, …, x_D, 1),把 w 写成 (w₁, …, w_D, b)。这时 wᵀx = w₁x₁ + … + w_D·x_D + b·1,和原来的式子一模一样,模型就写成 y = wᵀx。demo 代码正是这样做的:在标准化后的面积前面补一列 1,所以要学的 w 是二维向量。

常见误解

以为训练数据越多,线性回归的参数越多

参数个数由特征维度 D 决定,是 D + 1,和样本数 N 无关。这一点正是它和上一讲 KNN 的分界线:KNN 要把整张表留着,线性回归只留这几个数。

以为截距 b 就是「面积为 0 的房子值多少钱」

b 只是公式在面积为 0 时给出的值。训练数据里没有面积为 0 的房子,这个值在现实里没有意义,它的作用只是让直线能上下平移。

试一下

一张表有 7 个特征、3000 行。线性模型 y = wᵀx + b 有几个参数?补一列常数 1 之后呢?

7 + 1 = 8 个参数。补一列 1 之后 w 变成 8 维,b 被吸进 w 里,参数还是 8 个,只是写法变了。行数 3000 不影响参数个数。

2. 均方误差:给一条直线打分

它解决什么问题

w、b 可以填无数组数,每组对应一条直线。要挑出「最好」的那条,先得有一个能算的分数。均方误差(MSE)就是这个分数:越小,直线离数据点越近。

直觉

每个数据点到直线有一段竖直的差距,叫残差。残差有正有负,直接相加会互相抵消,所以先平方,全变成正数。平方还有一个效果:差得越远,罚得越重,差 2 罚 4,差 3 罚 9。最后除以点数,取个平均。

一步一步看

目标:拿三个点和一条直线逐步算残差、平方、平均,看 MSE 怎样给一条直线打出一个分数。

拿三个点 (1,2)、(2,4)、(3,5) 和直线 y = 1.5x + 0.667 来算。这条直线正是第 4 个概念会算出来的最优解。

  1. 算每个点的预测值:x = 1 时预测 2.167,x = 2 时 3.667,x = 3 时 5.167。

  2. 残差 = 真值 − 预测:分别是 −0.167、+0.333、−0.167。

  3. 平方:0.028、0.111、0.028。

  4. 加起来约 0.167,除以 3 个点,MSE ≈ 0.0556。

    左图三个点 (1,2)、(2,4)、(3,5) 和直线 y = 1.5x + 0.667,三段青绿竖线是残差,分别约 −0.167、+0.333、−0.167;右边列出每个残差和它的平方,平方和约 0.167,除以 3 得 MSE 约 0.0556

怎么算

先认符号。ȳⁿ 是第 n 个样本的真实标签,y 是模型预测值。不带上标的 ȳ 和 x̄ 是全体样本的均值。课件这么写,默写时先分清。

L(w,b) = (1/N) Σₙ (ȳⁿ − (wxⁿ + b))²

意思是:对每个样本,用真值 ȳⁿ 减去预测 wxⁿ + b,得到残差;残差平方;所有样本的平方加起来,再除以样本数 N。

L 是 w 和 b 的函数。数据是固定的,换一组 w、b,L 就变一次。训练要做的事,就是找让 L 最小的那组 w、b。

课件同一页问了一个对比:只求平方和、不除以 N(最小二乘,LSE),和 MSE 一样吗?换成平均绝对误差(MAE)呢?

  • 平方和与 MSE 只差常数因子 1/N。乘一个正常数不改变最低点的位置,所以让它们最小的 w、b 相同。
  • MAE 把平方换成绝对值,(1/N) Σ |ȳⁿ − (wxⁿ + b)|,是另一个函数,最低点一般在别处。它对离群点没那么敏感,但在残差为 0 处不可导。

课件还给了四个近义词:loss 指单个样本的误差,error 与 loss 同义,cost 是全部样本的平均,objective 泛指任何要优化的目标。

常见误解

以为残差直接相加就能当误差

正负会抵消。一条直线可以一半点在上方、一半在下方,残差加起来是 0,但每个点都差很远。所以要先平方(或取绝对值)。

以为平方和、MSE、MAE 三个随便换,答案都一样

平方和与 MSE 的最优解相同,只差一个 1/N。MAE 是另一个函数,最优解一般不同。

试一下

两个点 (0,1)、(2,3),直线 y = x。MSE 是多少?换成直线 y = x + 1 呢?

y = x 时预测是 0 和 2,残差都是 1,平方都是 1,MSE = (1 + 1)/2 = 1。

y = x + 1 时预测是 1 和 3,正好穿过两个点,残差都是 0,MSE = 0。第二条更好。

3. 先补一块:求导找最低点(补充)

它解决什么问题

MSE 给每条直线打了分,下一步要找分数最低的那条。找一个函数的最低点,高中数学已经有现成办法:求导,令导数等于 0。第 4 个概念和下一页的梯度下降都靠它,这里单独补一下。

直觉

导数是曲线在某一点的斜率。站在一个碗形的坡上:

  • 斜率为负,说明往右走在下坡,最低点在右边。
  • 斜率为正,说明往右走在上坡,最低点在左边。
  • 斜率为 0,脚下是平的,这就是碗底。

一步一步看

目标:在抛物线上三处画切线比斜率正负,看出最低点就是导数等于 0 的地方。

拿一条开口向上的抛物线 L(w) = (w − 2)² + 1 来看。

  1. 在 w = 0.6 处画一条切线,它往右下倾斜,斜率是负的。往右走,L 会变小。

  2. 在 w = 3.4 处画切线,它往右上倾斜,斜率是正的。往左走,L 会变小。

  3. 在 w = 2 处切线是水平的,斜率为 0。左右都是上坡,这里就是最低点。

    一条开口向上的抛物线 L(w) = (w − 2)² + 1。左边 w = 0.6 处切线斜率约 −2.8,标注往右走 L 变小;右边 w = 3.4 处斜率约 +2.8,标注往左走 L 变小;中间 w = 2 处的水平切线用青绿标出,斜率 0,是最低点

  4. 所以找最低点只要解一个方程:导数 = 0。

怎么算

本讲只用到两条求导规则。

  • 常数的导数是 0。
  • (aw + c)² 对 w 的导数是 2(aw + c) · a。意思是:先把括号当整体,平方的导数是「2 乘括号」;再乘上括号里面对 w 的导数 a。这叫链式法则。

用在 L(w) = (w − 2)² + 1 上:括号里是 w − 2,里面对 w 的导数是 1,所以 L′(w) = 2(w − 2) · 1 + 0 = 2(w − 2)。令 2(w − 2) = 0,得 w = 2。代回去 L(2) = 1,这就是最小值。

函数有两个变量 w 和 b 时,对 w 求导就把 b 当常数,叫对 w 的偏导数,记作 ∂L/∂w。对 b 求偏导同理,把 w 当常数。两个偏导同时为 0 的地方,就是碗底。

课件里也有这一步。MSE 展开后是 w 和 b 的二次式,把 b 当常数、只看 w,就是一条开口向上的抛物线。用高中的顶点公式或求导令其为 0,就能找到最低点。

常见误解

以为导数为 0 的地方一定是最低点

导数为 0 只说明那里是平的,也可能是山顶,或者只是某一个局部的坑底。对开口向上的抛物线这类碗形函数,平的地方只有碗底一处,导数为 0 就是最低点。线性回归的 MSE 正好是碗形的,下一页会再讲非碗形的情况。

试一下

L(w) = (3w − 6)²。用链式法则求 L′(w),再求最低点。

括号里是 3w − 6,里面对 w 的导数是 3。L′(w) = 2(3w − 6) · 3 = 18w − 36。令它为 0,得 w = 2。代回去 L(2) = 0,最低点在 w = 2。

4. 最小二乘的闭式解

它解决什么问题

有了打分规则(MSE)和找最低点的工具(求导),就能把最优的 w、b 直接算出来,不用一组一组去试。一次算出结果的公式叫闭式解,这个方法叫最小二乘估计(least square estimator)。

从哪来(补充)

最小二乘最早由 Legendre 在 1805 年清楚地发表。Gauss 在 1809 年也发表了这个方法,并说自己从 1795 年起就在用,两人因此有过谁先发明的争执。它最早用来根据观测数据推算天体轨道,Gauss 用它预测了小行星谷神星重新出现的位置。

出处:Wikipedia: Least squares

直觉

MSE 对 w、b 来说是一个碗。碗底那一点,两个偏导数同时为 0。写出这两个方程,解出来就是答案。

解出来的公式有很直观的含义。b 的公式说明:最优直线一定穿过数据的中心点 (x̄, ȳ)。w 的公式说明:斜率看的是 x 和 y「一起偏离均值」的程度,x 偏大时 y 也偏大,斜率就是正的。

一步一步看

目标:用三个点按公式手算斜率和截距,看闭式解算出的直线和前面打分的那条是同一条。

还是那三个点 (1,2)、(2,4)、(3,5),按公式手算一遍。

  1. 算均值:x̄ = (1 + 2 + 3)/3 = 2,ȳ = (2 + 4 + 5)/3 ≈ 3.667。

  2. 算每个点的离均差,填进表里:

    点 x − x̄ y − ȳ 乘积 (x − x̄)²
    (1,2) −1 −1.667 1.667 1
    (2,4) 0 0.333 0 0
    (3,5) 1 1.333 1.333 1
    合计 3 2
  3. 斜率 w = 乘积合计 ÷ 平方合计 = 3 / 2 = 1.5。

  4. 截距 b = ȳ − w·x̄ = 3.667 − 1.5 × 2 = 0.667。

  5. 得到直线 y = 1.5x + 0.667,MSE ≈ 0.0556,和第 2 个概念算的一样。

怎么算

下面把一维闭式解完整推一遍。为了读起来不乱,真值写成 yⁿ(课件写 ȳⁿ),均值写成 x̄、ȳ。

第一步,对 b 求偏导,令其为 0。

L(w,b) = (1/N) Σ (yⁿ − wxⁿ − b)²

括号里对 b 的导数是 −1,用链式法则:

∂L/∂b = (1/N) Σ 2(yⁿ − wxⁿ − b) · (−1) = −(2/N) Σ (yⁿ − wxⁿ − b)

令它为 0,两边乘 −N/2:Σyⁿ − wΣxⁿ − Nb = 0。两边除以 N,Σyⁿ/N 就是 ȳ,Σxⁿ/N 就是 x̄:

b = ȳ − w·x̄

意思是:最优直线一定穿过点 (x̄, ȳ)。

第二步,把 b 代回去。残差变成:

yⁿ − wxⁿ − (ȳ − wx̄) = (yⁿ − ȳ) − w(xⁿ − x̄)

第三步,对 w 求偏导,令其为 0。括号里对 w 的导数是 −xⁿ:

∂L/∂w = −(2/N) Σ xⁿ[(yⁿ − ȳ) − w(xⁿ − x̄)] = 0

整理得:Σ xⁿ(yⁿ − ȳ) = w · Σ xⁿ(xⁿ − x̄)

第四步,把 xⁿ 换成 (xⁿ − x̄)。因为 Σ(yⁿ − ȳ) = 0、Σ(xⁿ − x̄) = 0,所以左右两边各减去 x̄ 乘这些和,值不变:

Σ (xⁿ − x̄)(yⁿ − ȳ) = w · Σ (xⁿ − x̄)²

最后:

w = Σ(xⁿ − x̄)(yⁿ − ȳ) / Σ(xⁿ − x̄)²

意思是:分子量 x 和 y 一起偏离均值的程度,分母量 x 自己散得多开,两者相除就是斜率。

特征不止一个时,同样是「对每个参数求偏导、令其为 0」,解的是一个线性方程组。这个方程组有唯一解的条件是:把所有样本的特征排成的那张表(设计矩阵)满列秩,也就是没有哪一列能由别的列凑出来。

demo 里有一个现成的例子。面积标准化之后 x̄ = 0,代进 b = ȳ − w·x̄,第二项为零,所以 b 恰好等于房价均值 ȳ。

常见误解

以为所有模型都有闭式解

闭式解来自「对 w、b 求偏导令其为零,再解线性方程组」,只适用于线性模型加平方误差。换了损失或换了模型,通常写不出这样的公式。这时要一步一步逼近,就是下一页的梯度下降。不过也不是只剩梯度下降一条路,例如 MAE 可以用线性规划求解。

算 w 时直接用 Σxy / Σx²

分子分母都要用离均差 (x − x̄)、(y − ȳ)。直接用原值算出来的是一条必须穿过原点的直线的斜率,和带截距 b 的模型对不上。

试一下

两个点 (0,1)、(2,5)。用闭式解求 w、b,并验证直线穿过 (x̄, ȳ)。

x̄ = 1,ȳ = 3。离均差:x 是 −1、1,y 是 −2、2。分子 = (−1)(−2) + (1)(2) = 4,分母 = 1 + 1 = 2,w = 2。b = 3 − 2 × 1 = 1。

直线 y = 2x + 1,代 x = 1 得 y = 3,正好是 (x̄, ȳ)。两个点都在线上,MSE = 0。

把它们串起来

课件把整件事分成四个阶段。Stage 0 准备数据。Stage 1 定模型形状:y = wᵀx + b,参数个数 D + 1 在看到数据前就定了。Stage 2 确定参数的数值,这一步才叫训练。Stage 3 评估。

这一页走完了 Stage 1 和 Stage 2 的第一条路。先用 MSE 说清什么叫「好」,再借求导找到碗底,得到一次算完的闭式解。

闭式解只在「线性模型 + 平方误差」时有。下一页换一条通用的路:梯度下降。它不需要解方程,只要会求导,后面训练神经网络靠的就是它。

课件里的坑

  • [课件有误] p.9 标题 “Convid-19 Dataset” 拼写有误,并且那个 Kaggle 数据集是 2018 年的小儿肺炎 X 光片,与新冠无关。
  • [口径差异] p.19 等高线图上的「最佳点 (w = 3, b = −185)」是图源的示意值。只用左表列出的 4 行做最小二乘,得到的是 w ≈ 2.33、b ≈ −209,别拿表里的数去验证图上的坐标。
  • [课件有误] p.20 把 MSE 展开写成 K₁w² + K₂wb + K₃b² + K₄,省略了 w、b 的一次项。自己推导多出一次项是正常的,不影响「二次函数、有唯一最低点」的结论。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三样东西:模型 y = wᵀx + b 和参数个数、MSE 的定义式、一维闭式解。然后把「变式题」做一遍。最后回查两个最容易错的地方:闭式解的分子分母都用离均差,b 由 ȳ − w·x̄ 回代。

必背

  1. 本讲单输出线性回归是参数模型、输出一个标量;参数个数 = 特征维度 D + 1,由模型形态定,与训练样本数无关。
  2. 模型写成 y = wᵀx + b;在特征前补一列常数 1 可以把偏置 b 吸进 w,之后公式里只剩 w。
  3. 损失用均方误差 MSE:L(w,b) = (1/N) Σ (ȳⁿ − (wxⁿ + b))²;最小化平方和与最小化 MSE 解相同,换成 MAE 解一般不同。
  4. 一维闭式解 w = Σ(xⁿ−x̄)(ȳⁿ−ȳ) / Σ(xⁿ−x̄)²,b = ȳ − w·x̄,要能手算。
  5. 四个阶段里只有 Stage 2「确定参数 W 的数值」叫训练;Stage 1 定模型形状是人定的,Stage 3 是评估打分。

课件例题

例 1(课件 p.13):四个特征的数据表,写模型、数参数

题面:训练表有 4 个特征 x₁–x₄ 和标签 y,前三行是 (0.2, 1, 10, −3) → 0.4,(0.1, 1.5, 6, −2) → 0.6,(0.25, 2, 12, −1) → 0.3,最后一行 Datapoint N 是 (0.5, 3, 8, −2.5) → 0.7。用三种写法写出线性模型,并数参数个数。紧接的 p.14 问:表里加一列恒为 1 的 x₅ 之后,还需要单独的 b 吗?

提示

每个特征配一个权重,再加一个偏置。参数个数只看列数。x₅ 恒为 1 时,w₅·x₅ 等于什么?

解答
  1. 逐项展开:y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b。
  2. 行向量乘列向量:y = [w₁ w₂ w₃ w₄] · [x₁; x₂; x₃; x₄] + b。
  3. 向量内积:y = wᵀx + b。wᵀx 是 1×D 乘 D×1,结果是标量。
  4. 参数个数 D + 1,这里 D = 4,共 5 个。表有多少行都不改变这个数。
  5. p.14:加一列 x₅ = 1 后模型变成 y = wᵀx,b 变成了 w₅,不再需要单独的偏置。

例 2(课件 p.17):最小二乘、MSE、MAE,同还是不同

题面:一维数据表 x 取 51.1, 60.0, 96.5, …, 72.3,y 取 −91.0, −68.5, 15.3, …, −38.6,损失是 L(w, b) = (1/N)·Σ(ȳⁿ − (w·xⁿ + b))²。课件问:Least Square Error 和 Mean Absolute Error 与它 same or different?顺带区分 loss、error、cost、objective 四个词。

提示

乘一个正常数会不会移动函数的最低点?绝对值和平方是不是同一个函数?

解答
  1. 最小二乘是平方和,和 MSE 只差常数因子 1/N,最小值点相同。
  2. MAE 用绝对值 |ȳⁿ − (wxⁿ + b)|,是另一个函数,最优解一般不同。它对离群点不敏感,在零点不可导。
  3. 四个词:loss function 指单个样本的误差,error function 与它同义,cost function 是所有样本的平均,objective function 泛指任何要优化的目标。

例 3(课件 p.18–19):用最小二乘公式算 w、b

题面:用 p.17 那张一维数据表,按最小二乘公式算出 w、b。

提示

先算 x̄、ȳ,再列离均差表,分子是乘积之和,分母是 x 离均差的平方和。

解答

完整计算见下方「完整例题」:只用课件列出的 4 行,得到 w ≈ 2.33、b ≈ −209,MSE 也在那里一并算出。

例 4(课件 p.20):只看 w 时,高中方法能不能求最小值

题面:MSE 展开后是 L(w,b) = K₁w² + K₂wb + K₃b² + K₄。把 b 当常数,只看 w,课件问 Any method from high school?

提示

b 固定以后,L 关于 w 是几次函数?开口朝哪?

解答
  1. 固定 b 后,L(w) = K₁w² + (K₂b)·w + (K₃b² + K₄),是开口向上的抛物线。
  2. 用抛物线顶点公式 w = −(K₂b)/(2K₁),或求导令其为零,就能得到最低点。
  3. 课件括注 same to Least Square Estimator:这个顶点就是闭式解。
  4. 严格展开还有 w、b 的一次项,课件省略了,不影响「二次函数、有唯一最低点」的结论。

完整例题

题面(课件 p.18–19):课件的一维数据表只列出 4 行,x = 51.1, 60.0, 96.5, 72.3,对应 y = −91.0, −68.5, 15.3, −38.6,中间用「…」省略了其余样本。只用这 4 行,按最小二乘公式求 w、b 和 MSE;再算课件 p.19 等高线图上标的「best function」(w = 3, b = −185) 和「worst function」(w = −5, b = −140) 在这 4 行上的 MSE。

  1. 均值:x̄ = (51.1 + 60.0 + 96.5 + 72.3)/4 = 69.975,ȳ = (−91.0 − 68.5 + 15.3 − 38.6)/4 = −45.7。
  2. 离均差:x − x̄ = −18.875, −9.975, 26.525, 2.325;y − ȳ = −45.3, −22.8, 61.0, 7.1。
  3. 分子 Σ(x − x̄)(y − ȳ) = 855.04 + 227.43 + 1618.02 + 16.51 ≈ 2717.0。
  4. 分母 Σ(x − x̄)² = 356.27 + 99.50 + 703.58 + 5.41 ≈ 1164.75。
  5. w = 2717.0 / 1164.75 ≈ 2.33,b = ȳ − w·x̄ = −45.7 − 2.333 × 69.975 ≈ −208.9,约 −209。
  6. 预测 ≈ −89.73、−68.97、16.17、−40.28,误差 ≈ −1.27、0.47、−0.87、1.68,MSE ≈ 1.35。
  7. 图上 (3, −185) 在这 4 行上 MSE ≈ 5119,(−5, −140) 的 MSE ≈ 212949。图上的点是图源用它自己的完整数据画的,和这 4 行对不上,所以「best」在这里并不好。
  8. 读图时只需要理解:损失是 (w, b) 的函数,有一个最低点;别拿表里 4 个数去验证图上的坐标。

答案:w ≈ 2.33,b ≈ −209,MSE ≈ 1.35。

变式题(先自己做)

自编情境。训练点 (1,2)、(2,3)、(3,7)。(a)求最小二乘解 w、b;(b)求这条直线的 MSE;(c)这组点的最优 MSE 为什么不是 0?

提示

闭式解的分子分母都用离均差,b 靠均值回代。(c)看三个点在不在同一条直线上。

判分点与答案(非官方评分标准)

判分点:① 分子分母都用离均差;② b 由 ȳ − w·x̄ 回代;③(c)答出「三点不共线」。

  1. x̄ = 2,ȳ = 4。分子 Σ(x−x̄)(y−ȳ) = (−1)(−2) + 0 + (1)(3) = 5,分母 Σ(x−x̄)² = 2,故 w = 2.5,b = 4 − 2.5 × 2 = −1。
  2. 预测 1.5、4、6.5,误差 0.5、−1、0.5,平方和 1.5,MSE = 0.5。
  3. 三个点不在同一条直线上,任何直线都不可能同时穿过三点,所以最优解的 MSE 也大于 0。闭式解给的是「最好的那条直线」,不保证误差为零。

闪卡自测

1. 10 个特征的线性回归有几个参数?训练集从 1000 条涨到 100 万条,参数变吗?

11 个(10 个权重 + 1 个偏置);不变,参数个数只看特征维度(p.13)。

2. D = 3 时把 y = wᵀx + b 逐项展开;补一列常数 1 之后不含 b 的形式是什么?

y = w₁x₁ + w₂x₂ + w₃x₃ + b;补一列 x₄ = 1 后写成 y = wᵀx,b 变成了常数 1 那一列对应的权重(p.13–14)。

3. 机器学习里说的 training 是四个阶段里的哪一步?

Stage 2,确定参数 W 的数值。Stage 1 设计模型是人定的,Stage 3 是打分,只有 Stage 2 是「学」(p.11)。

4. 「最小化平方和」与「最小化 MSE」得到的 (w,b) 相同吗?换成 MAE 呢?

相同,两者只差常数因子 1/N;MAE 是另一个函数,最优解一般不同,且零点不可导(p.17)。

5. loss、cost、objective 三个词各指什么?

loss 指单个训练样本的误差,cost 是全部样本的平均,objective 是任何要优化的目标的泛称(p.17)。

6. 闭式解里 b 的公式说明最优直线一定穿过哪一点?

b = ȳ − w·x̄,等价于 ȳ = w·x̄ + b,所以直线一定穿过均值点 (x̄, ȳ)(p.18)。

7. demo 里把面积标准化后,偏置项恰好等于房价均值,为什么?

标准化后 x̄ = 0,闭式解 b = ȳ − w·x̄ 里第二项为零,所以 b = ȳ(p.18, p.40)。

8. 只看 w、把 b 当常数时,MSE 是什么形状?最低点怎么求?

开口向上的抛物线;用顶点公式或求导令其为 0,得到的就是最小二乘解(p.20)。

下一讲

L02a-2 梯度下降:没有现成公式时,从随便一组 w、b 出发,沿着导数指的下坡方向一步步挪,最后挪到和闭式解同一个点。

下一讲 →
L02a-2 L02a-2 梯度下降:没有公式时,顺着坡一步步走到谷底

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。