P01a Practical 1(上):线性代数与微积分,期末的数学计算题从这里出
Practical 1 的前两节:矩阵形状检查、闭区间最值、梯度与 Hessian、拉格朗日乘子,附答案文档没覆盖的那题完整解。
一句话版
这份练习不计分、不用交,但期末闭卷考的数学工具全在里面;这半页是线性代数和微积分两节,做不动哪一题就是这学期要补的哪一块。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| [1 2; 3 4] | 矩阵的写法,分号隔开两行 | 第一行是 1 2,第二行是 3 4 |
| ᵀ | 读「转置」 | 把行变成列、列变成行 |
| det、rank | determinant 行列式、秩 | 两个用来判断矩阵能不能求逆的量 |
| 驻点 | stationary point | 导数等于 0 的点,可能是山顶、谷底或平台 |
| ∇f | 读「nabla f」,梯度 | 各个偏导数排成的列向量 |
| Hessian | 海森矩阵 | 二阶偏导数排成的矩阵,用来判断临界点的类型 |
| λ | 读「兰姆达」,拉格朗日乘子 | 带约束求最值时引入的辅助变量 |
| 特征值、迹 | eigenvalue、trace | 迹是主对角线上的数相加;二阶矩阵的两个特征值,乘积等于行列式、和等于迹 |
题目地图
这两节考的是工具熟练度,不是概念理解。
| 节 | 题目 | 考什么 | 主要失分点 |
|---|---|---|---|
| 线性代数 | 内积、矩阵乘法、逆、行列式、秩 | 形状与那条等价链 | 算完不看形状,左乘右乘混用 |
| 微积分 2.1 | 一元函数在两个闭区间上的最值 | 驻点加端点 | 只找驻点,不比端点 |
| 微积分 2.2 | 梯度、Hessian、临界点分类 | Hessian 判定表 | 把梯度写成行向量、忘了 Hessian 对称 |
| 微积分 2.3 | 拉格朗日乘子求约束临界点 | ∇f = λ∇g 的联立 | 解出 t 后忘了代回约束验算 |
数学部分讲师给了答案文档,但有两处没覆盖:六个概率分布的公式(题目要求写出来,答案只重复了题面)和拉格朗日那一整题。拉格朗日那题在下面补齐了,六个分布见 P01b。
概念卡
1. 形状检查与那条等价链(Linear Algebra)
人话定义:它帮你在矩阵题算完后发现写反的式子。相乘结果的形状由两边的行数、列数决定,形状不对就说明式子写反了。
例子:给定 X = [1 2; 3 4],y = [3, 1]ᵀ,z = [2, 3]ᵀ。y · z = 3·2 + 1·3 = 9,是一个标量(单个数),等价写法 ⟨y, z⟩、yᵀz、zᵀy 都要认得。
Xy = [5, 13]ᵀ 形状 2×1,zᵀX = [11, 16] 形状 1×2。同一个 X,左乘右乘连形状都不同,这是本题真正的考点。
另一条要背的等价链是:det ≠ 0 ⟺ 可逆 ⟺ 满秩 ⟺ 各列线性无关,⟺ 读「等价于」。这里 det(X) = 1·4 − 2·3 = −2 ≠ 0,所以 rank(X) = 2。
常见误解
以为形状检查只是细节 → 后面写神经网络前向传播时,一层的输出到底是 Wx 还是 xᵀW,靠的正是这一步,形状对不上就说明写反了。
二阶逆的公式也顺手记牢:[a b; c d]⁻¹ = 1/(ad−bc) · [d −b; −c a]。算完乘回去看是不是单位阵(对角线全 1、其余全 0)。考场上花十秒验算,比事后发现符号错了划算。
回讲义:L02a 线性回归:定一条直线,用最小二乘一次算出系数
2. 闭区间最值的三步套路(Extrema on a Closed Interval)
人话定义:它解决「函数在一段区间上最大、最小是多少」。候选点是区间内的驻点、不可导点和两个端点,全部算出函数值比大小。
例子:f(x) = x³ − 3x + 7,f′ = 3x² − 3,驻点 x = ±1。
在 [0, 2] 上只有 x = 1 落在区间内。二阶导 f″ = 6x 在该点为 6 > 0,是极小值点,f(1) = 5。极小点定了,最大值只能出现在端点,f(0) = 7、f(2) = 9,所以最小 5、最大 9。
在 [−2, 0] 上落在区间内的是 x = −1,f″ = −6 < 0,是极大值点 f(−1) = 9。最小值在端点,f(−2) = 5、f(0) = 7。
常见误解
只找驻点不比端点 → 这是这类题的标准失分点。连续函数在闭区间上的候选包括驻点、不可导点与两个端点,逐个比较函数值。极大、极小可能都在内部,不能套「另一端必在端点」。
回讲义:L02a 线性回归:定一条直线,用最小二乘一次算出系数
3. 梯度、Hessian 与判定表(Multivariate Calculus)
人话定义:它找出多变量函数的临界点,再判断是哪一类。梯度是一阶偏导排成的列向量,用来找临界点;Hessian 是二阶偏导排成的对称矩阵,用来判类型。
例子:f(x, y) = x³ + y² + xy。求偏导时把另一个变量当常数。∇f = [3x² + y, 2y + x]ᵀ,在 (2, 3) 处等于 [15, 8]ᵀ,形状 2×1。
H = [6x 1; 1 2],在 (0, 0) 处等于 [0 1; 1 2],形状 2×2。它是对称的,因为混合偏导与求导次序无关。
判定表要背:
- 正定为局部极小
- 负定为局部极大
- 不定为鞍点
- 半定则判据失效、要看更高阶
正定可以理解成往任何方向都向上弯,鞍点是有的方向向上、有的方向向下。
常见误解
把 Hessian 写成向量,或让梯度方向与题目约定不一致 → 先检查维度与转置;梯度也有行向量约定,关键是前后一致。
鞍点附近梯度可能很小,给优化带来困难;momentum 和 Adam 这类优化方法并不保证逃离所有鞍点。这道数学题也为后面的优化方法作铺垫。
回讲义:L02a-2 梯度下降:没有公式时,顺着坡一步步走到谷底
逐题拆解
第 1 节的数据:X = [1 2; 3 4],y = [3, 1]ᵀ,z = [2, 3]ᵀ。
1① 内积
y·z = 3·2 + 1·3 = 9,结果是标量。yᵀz、zᵀy、⟨y, z⟩ 是同一个数的不同写法。
1② 左乘与右乘
Xy = [1·3+2·1, 3·3+4·1]ᵀ = [5, 13]ᵀ,形状 2×1。zᵀX = [2·1+3·3, 2·2+3·4] = [11, 16],形状 1×2。两个结果形状不同,这是本题的考点。
一步一步看
目标:用同一个 X 分别算 Xy 和 zᵀX,看左乘用行、右乘用列,两种结果的形状也不一样。
青绿框是这一步参与点乘的那一行(或那一列),以及它算出来的那一格;问号是还没算的格。
-
Xy 的第 0 个数:X 的第 0 行 [1, 2] 和 y 点乘,1·3 + 2·1 = 5。
-
Xy 的第 1 个数:X 的第 1 行 [3, 4] 和 y 点乘,3·3 + 4·1 = 13。两行各得一个数,Xy 是 2×1。
-
换成右乘:zᵀ = [2, 3] 和 X 的第 0 列 [1, 3] 点乘,2·1 + 3·3 = 11。
-
zᵀ 和 X 的第 1 列 [2, 4] 点乘,2·2 + 3·4 = 16。zᵀX = [11, 16],是 1×2,和 Xy 的形状不同。
1③ 逆矩阵
X = [1 2; 3 4],套二阶公式:1/(ad−bc) = 1/(−2),再把 [d −b; −c a] = [4 −2; −3 1] 逐项乘上去,得 X⁻¹ = [−2 1; 3/2 −1/2]。验算 X·X⁻¹ 的第一行:1·(−2) + 2·(3/2) = 1,1·1 + 2·(−1/2) = 0,正是单位阵的第一行。
一步一步看
目标:对一个 2×2 矩阵按公式求逆再乘回去验算,看行列式不为 0 时逆矩阵怎样一步步得出。
每帧多写一行推导,青绿框是这一步新写的那一行。
-
先算 ad − bc = 1·4 − 2·3 = −2,不为 0,逆存在。
-
a、d 对调,b、c 变号:[4 −2; −3 1]。
-
每一项乘 1/(−2),得 X⁻¹ = [−2 1; 3/2 −1/2]。
-
乘回去验算第一行,得 [1, 0],和单位阵对上。
1④ 行列式
det(X) = 1·4 − 2·3 = −2。
1⑤ 秩
det(X) ≠ 0,所以 X 满秩,rank = 2。这一问直接用等价链,不必化行阶梯形。
2.1 一元函数 f(x) = x³ − 3x + 7
① 导数 3x² − 3,驻点 x = ±1。② 区间 [0, 2] 内只有驻点 x = 1,f(1) = 5;端点 f(0) = 7、f(2) = 9,所以最小 5(x = 1)、最大 9(x = 2)。③ 区间 [−2, 0] 内只有驻点 x = −1,f(−1) = 9;端点 f(−2) = 5、f(0) = 7,所以最大 9(x = −1)、最小 5(x = −2)。两问的驻点一个是极小一个是极大,另一个最值都落在端点上。
一步一步看
目标:先求 f 的驻点,再在 [0, 2] 和 [−2, 0] 上比较候选点,看最值有时落在区间端点上。
曲线是 f 在 −2 到 2 之间的样子,灰底是当前区间,青绿圈是这一步要比较的候选点。
-
求导 f′(x) = 3x² − 3,令它为 0,驻点 x = 1 和 x = −1。
-
区间 [0, 2]:x = −1 不在区间里。候选 0、1、2,函数值 7、5、9,最小 5、最大 9。
-
区间 [−2, 0]:x = 1 不在区间里。候选 −2、−1、0,函数值 5、9、7,最大 9、最小 5。
2.2 多元函数 f(x, y) = x³ + y² + xy
① ∇f = [3x² + y, 2y + x]ᵀ,代入 (2, 3) 得 [15, 8]ᵀ。② H = [6x 1; 1 2],在 (0, 0) 处为 [0 1; 1 2]。③ 临界点与分类见下方完整例题。
一步一步看
目标:对 f(x, y) 求偏导、在 (2, 3) 算梯度、再求 Hessian 并代入原点,看一阶和二阶导数各排成什么样。
每帧多写一行推导,青绿框是这一步新写的那一行。
-
对 x 求偏导时 y 当常数,对 y 求偏导时 x 当常数:∂f/∂x = 3x² + y,∂f/∂y = 2y + x。
-
代入 (2, 3):3·4 + 3 = 15,2·3 + 2 = 8,∇f(2, 3) = [15, 8]ᵀ。
-
两个偏导再各求一次偏导,排成 2×2:H = [6x 1; 1 2]。
-
代入 (0, 0):H(0, 0) = [0 1; 1 2]。
2.3 拉格朗日乘子
答案文档完全没有覆盖这一题。求 f(x,y,z) = (x+1)² + (y+2)² + (z−2)² 在约束 g = x² + y² + z² − 36 = 0 下的临界点。
方法是令 ∇f = λ∇g,意思是在约束面上的临界点,f 和 g 的梯度方向平行。逐分量写出:2(x+1) = 2λx、2(y+2) = 2λy、2(z−2) = 2λz,整理成 x(1−λ) = −1、y(1−λ) = −2、z(1−λ) = 2。
令 t = 1/(λ−1),三式化为 x = t、y = 2t、z = −2t。代回约束得 9t² = 36,t = ±2。两个临界点 (2, 4, −4) 与 (−2, −4, 4),对应 f = 81 与 f = 9。
几何验算比代数更快,也更适合考场自查。f 就是点 (x, y, z) 到定点 P = (−1, −2, 2) 的距离平方。约束是以原点为心、半径 6 的球面。|P| = √(1+4+4) = 3 < 6,P 在球内。所以球面上离 P 最近的点距离 6 − 3 = 3(f = 9),最远的距离 6 + 3 = 9(f = 81),和解出来的两个值完全对上。这两点正是过原点与 P 的直线跟球面的两个交点。
一步一步看
目标:用 ∇f = λ∇g 求球面约束下的极值,看换元后怎样解出两个临界点,各自的函数值是多少。
每帧多写一行推导,青绿框是这一步新写的那一行。
-
令 ∇f = λ∇g,逐分量写出三条方程。
-
每条两边除以 2 再移项:x(1−λ) = −1,y(1−λ) = −2,z(1−λ) = 2。
-
令 t = 1/(λ−1),三个未知数都写成 t 的倍数:x = t,y = 2t,z = −2t。
-
代回约束:t² + 4t² + 4t² = 36,9t² = 36,t = ±2。
-
t = 2 得 (2, 4, −4),f = 81;t = −2 得 (−2, −4, 4),f = 9。
这一题到 L05c 还会用上。带约束的优化是正则化的另一种视角:「最小化损失,同时约束 ‖w‖ ≤ C」与「最小化 损失 + λ‖w‖」是同一个问题的两种写法,λ 就是这里的乘子。
课件里的坑
- [课件留白] 拉格朗日乘子那一整题在答案文档里完全没有出现。上面给了代数解和几何验算两条路。
- [补充] 「行列式非零 ⟺ 可逆 ⟺ 满秩 ⟺ 列独立」这条等价链以方阵为前提,非方阵谈不上行列式。
- [补充] Hessian 的二阶判定用于可二阶微分函数的驻点;半正定或半负定时判据给不出结论,通常还需进一步分析。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写两条——闭区间最值的三步、Hessian 判定表四行;再把下面的「变式题」做一遍;最后回查两处最容易错的地方——算完矩阵不看形状、拉格朗日解出 t 后忘了代回约束。三步做完再往下看答案。
必背
- 矩阵乘法不满足交换律,左乘右乘连形状都不同:Xy 是 2×1,zᵀX 是 1×2;写前向传播时靠形状检查判断有没有写反。
- 行列式非零 ⟺ 可逆 ⟺ 满秩 ⟺ 各列线性无关,四种说法是同一件事,题目会换着问。
- 连续函数闭区间求最值:列出区间内驻点及不可导点 → 加上两端点 → 比较所有候选函数值;二阶导不能代替全局比较。
- Hessian 判定表:正定为局部极小、负定为局部极大、不定为鞍点、半定则判据失效要看更高阶。
- 梯度是列向量、Hessian 是对称矩阵,形状写错本身就是失分点;求偏导时把另一个变量当常数。
- 拉格朗日乘子把约束优化写成 ∇f = λ∇g 逐分量联立,再代回约束;能几何解释的题用几何验算最快。
完整例题
2.2 那道多元函数完整走一遍:f(x, y) = x³ + y² + xy,要求列出所有临界点并分类。
第一步,写出梯度。对 x 求导时把 y 当常数,y² 整项消失、xy 留下 y;对 y 求导同理。∇f = [3x² + y, 2y + x]ᵀ。
第二步,令梯度为零联立。先用线性的那一条:2y + x = 0 得 y = −x/2。代入另一条:3x² − x/2 = 0,即 x(6x − 1) = 0,得 x = 0 或 x = 1/6。对应两个临界点 (0, 0) 与 (1/6, −1/12)。
第三步,写出 Hessian 并在每个临界点上求值。H = [6x 1; 1 2]。在 (0, 0) 处 H = [0 1; 1 2],行列式 0·2 − 1 = −1 < 0,两个特征值一正一负,属于不定,判为鞍点。在 (1/6, −1/12) 处 H = [1 1; 1 2],行列式 2 − 1 = 1 > 0 且迹为 3 > 0,两个特征值都为正,正定,判为局部极小值。
第四步,回答全局最优。取 y = 0、x → +∞ 时 f → +∞;取 y = 0、x → −∞ 时 f → −∞,所以在整个 R² 上全局最优不存在。这一步题目问了就必须答,光列临界点不够。
自检:判定 Hessian 是正定还是不定,二阶情形不必真去解特征值——行列式为负就意味着两个特征值异号,直接判鞍点;行列式为正时再看迹的符号定正负定。考场上这样快得多。
变式题(先自己做)
换一个函数:f(x, y) = x³ + y² + 2xy。
(1) 写出梯度和 Hessian,列出全部临界点。(2) 逐个分类,并算出局部极小值点上的函数值。(3) 全局最优在 R² 上存在吗?给出理由。
提示
两条方程里有一条是线性的,先用它把 y 解成 x 的式子再代入另一条。分类时不必解特征值,先看 Hessian 的行列式符号。第 (3) 问要给出一条具体的趋向路径,不能只说「看起来不存在」。
参考答案与自检(非官方评分标准)
自检要点:① 联立时先用线性那条方程;② 分类的依据写成行列式与迹的符号,或写成特征值符号,两种都算对;③ 全局最优必须给出构造性的理由。
(1) ∇f = [3x² + 2y, 2y + 2x]ᵀ。由 2y + 2x = 0 得 y = −x,代入 3x² + 2y = 0 得 3x² − 2x = 0,即 x(3x − 2) = 0,x = 0 或 x = 2/3。两个临界点:(0, 0) 与 (2/3, −2/3)。Hessian 是 H = [6x 2; 2 2]。
(2) 在 (0, 0) 处 H = [0 2; 2 2],行列式 0·2 − 4 = −4 < 0,特征值一正一负,鞍点。在 (2/3, −2/3) 处 H = [4 2; 2 2],行列式 8 − 4 = 4 > 0 且迹为 6 > 0,正定,局部极小值。函数值 f(2/3, −2/3) = 8/27 + 4/9 − 8/9 = −4/27。
(3) 不存在。沿 y = 0 这条线,f(x, 0) = x³,x → +∞ 时 f → +∞、x → −∞ 时 f → −∞,函数在 R² 上既无上界也无下界,所以全局极大和全局极小都不存在。那个局部极小值 −4/27 只是局部的。
闪卡自测
1. Xy 和 zᵀX 的形状各是什么?这个差别在后面哪里用得上?
Xy 是 2×1,zᵀX 是 1×2。矩阵乘法不满足交换律,左乘右乘连维度都不同。写神经网络前向传播时判断该写 Wx 还是 xᵀW,靠的就是这个形状检查。
2. 说出「行列式非零」的三个等价说法。
可逆、满秩、各列线性无关。四种说法是同一件事,题目会换着问。本题里 det(X) = −2 ≠ 0,所以 X 可逆、rank(X) = 2。
3. X = [1 2; 3 4] 的逆是什么?怎么验算?
X⁻¹ = [−2 1; 3/2 −1/2]。乘回去看是不是单位阵,花十秒验算比事后发现符号错划算。
4. 闭区间上求最值的三步是什么?哪一步最常漏?
对闭区间上的连续函数,列出内部驻点、不可导点与两端点,比较全部函数值。最常漏的是比较端点。二阶导可辅助分类,但不能代替全局最值比较。
5. f(x, y) = x³ + y² + xy 在 (2, 3) 处的梯度是多少?形状是什么?
[15, 8]ᵀ,列向量,形状 2×1。对 x 求偏导时把 y 当常数。
6. 背出 Hessian 判定表的四行。
正定(特征值全正)为局部极小;负定(全负)为局部极大;不定(有正有负)为鞍点;半定(含零特征值)判据失效,要看更高阶。
7. 二阶 Hessian 判正定还是不定,有没有不解特征值的快法?
有。行列式为负说明两个特征值异号,直接判鞍点;行列式为正时再看迹,迹为正是正定、为负是负定。考场上比解特征方程快得多。
8. 拉格朗日那题的几何验算怎么做?
f 是点到 P = (−1, −2, 2) 的距离平方,约束是半径 6 的球面。|P| = 3 < 6,P 在球内,所以球面上最近点距离 6 − 3 = 3、f = 9,最远点距离 6 + 3 = 9、f = 81,和代数解出来的两个临界值对得上。
9. 拉格朗日乘子 λ 在后面哪一讲以什么身份出现?
L05 正则化:「最小化损失且约束 ‖w‖ ≤ C」与「最小化 损失 + λ‖w‖」是同一个问题的两种写法,λ 就是这里的乘子。
下一步
先把上面那道变式题在纸上重做一遍,尤其是「不解特征值、只看行列式与迹」这条快法,期末计算题靠它省时间。拉格朗日那题用几何验算再对一遍答案。然后接着做 P01b:概率、统计两节和 iris 上的 KNN 编程题。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。