P01b Practical 1(下):概率、统计与 iris 上的 KNN
Practical 1 的后三节:六个分布的公式、贝叶斯两问、方差的有偏与标准化,外加一道 KNN 编程题的实测结论。
一句话版
这份练习不计分、不用交,但期末闭卷考的数学工具全在里面;这半页是概率、统计两节和一道 KNN 编程题,做不动哪一题就是这学期要补的哪一块。
先认识这几个词
读之前最好先做完线性代数和微积分两节,见 P01a。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| P(A|B) | 读「B 发生时 A 的概率」 | 条件概率 |
| 全概率公式 | law of total probability | 把一个事件按所有可能的原因拆开再加总 |
| 似然 | likelihood | 某个假设成立时,看到这个观测的概率 |
| 先验、后验 | prior、posterior | 看到证据之前对假设的概率是先验,看到之后更新出来的是后验 |
| C(n,k) | 读「n 选 k」,组合数 | 从 n 个位置里挑 k 个的方法数 |
| 无偏 | unbiased | 估计量平均来看等于真值,不系统性偏大偏小 |
| 标准化 | standardization | 减去均值再除以标准差,让数据均值 0、方差 1 |
| iris | 鸢尾花数据集 | 150 朵花、4 个尺寸特征、3 个品种的经典小数据集 |
题目地图
概率、统计两节考公式熟练度,编程题考实验习惯。
| 节 | 题目 | 考什么 | 主要失分点 |
|---|---|---|---|
| 概率 3.1 | 六个分布的公式 | 能默写 | 答案文档没给,没人提醒 |
| 概率 3.2 | 贝叶斯两问 | 全概率展开 | 分母直接写成边缘概率 |
| 统计 | 均值中位数方差、标准化、无偏性 | n 与 n−1 的差别 | 标准化时除成了方差 |
| 编程 | iris 数据集上手写 KNN | 打乱行而非打乱特征 | 报告单次划分的准确率 |
数学部分讲师给了答案文档,但有两处没覆盖:六个概率分布的公式(题目要求写出来,答案只重复了题面)和拉格朗日那一整题。六个分布在下面补齐了,拉格朗日那题见 P01a。
概念卡
1. 全概率展开与似然为零(Bayes’ Rule)
人话定义:它提醒贝叶斯计算里最常漏的一步。分母 P(B) 几乎总要用全概率公式拆开;某个假设下观测不可能发生时,这个假设的后验直接变成 0。
例子:P(A|B) = P(B|A)·P(A) / P(B),其中 P(B) = Σᵢ P(B|Aᵢ)·P(Aᵢ)。意思是把 B 按各种可能的原因 Aᵢ 拆开再加总,不展开分母是最常漏的一步。
似然为零的情形:某个假设赋予这个观测的概率是 0,乘进分子后整个后验就是 0。
常见误解
以为后验只会被证据「调低一点」→ 似然为零时证据能把后验直接压到 0。朴素贝叶斯要做平滑,就是为了避免训练集里没出现过的特征值把整个后验乘成 0。
回讲义:L03b 朴素贝叶斯分类器:先学每一类长什么样,再倒推
2. 方差为什么除以 n−1(Unbiasedness)
人话定义:它解释样本方差的两种写法。除以 n 的方差会系统性偏小,除以 n−1 的才是无偏的。
例子:均值估计量无偏,E[x̄] = μ,意思是平均来看不偏不倚。除以 n 的方差有偏,E[V] = ((n−1)/n)·σ²,平均来看总比真实方差小一截。
常见误解
想不通方差为什么偏小 → 偏差算的是相对于样本均值的离差,不是相对于真实 μ。样本均值本身就是让平方和最小的那个点,于是天然偏小,除以 n−1 恰好补上缺口。
这和「训练误差是乐观估计」是同一个道理:同一批数据既估参数又评效果,评估结果一定偏乐观,这正是必须划分训练集与测试集的理由。
回讲义:L02b 评估模型与多项式基展开:直线贴不上,就给表格加一列 x²
3. 标准化:除以标准差(Standardization)
人话定义:它把不同量级的特征拉到同一尺度。每个值减去均值、再除以标准差,结果均值为 0、方差为 1。
例子:公式是 yᵢ = (xᵢ − x̄) / σ,σ 是标准差。这一步在 KNN 里是必需的。KNN 用距离度量,若一维是年龄(0–100)、另一维是月收入(0–100000),不标准化的话距离几乎完全由收入决定,年龄那一维等于被忽略了。
常见误解
以为除以方差也行 → 要让方差变成 1,得除以标准差。量纲上一眼能看出来:分子是「分」,分母若是「分²」,结果的单位就不对。
回讲义:L01c KNN 回归与局限:取平均、统一尺度、四问
逐题拆解
3.1 六个分布的公式
题目要求默写,答案文档只重复了题面。期末闭卷,这些要能默写。
- 均匀分布 Uniform [−1,1]:
p(x) = 1/2,区间外为 0 - 一元高斯(正态)分布 Univariate Gaussian:
p(x) = (1/√(2πσ²))·exp(−(x−μ)²/(2σ²)) - 拉普拉斯分布 Laplace:
p(x) = (1/2b)·exp(−|x−μ|/b) - 伯努利分布 Bernoulli(抛一次硬币):
p(x) = θˣ(1−θ)^(1−x),x ∈ {0,1} - 二项分布 Binomial(抛 n 次出现 k 次正面):
p(k) = C(n,k)·θᵏ(1−θ)^(n−k) - 多元高斯 Multivariate Gaussian:
p(x) = (2π)^(−D/2)·|Σ|^(−1/2)·exp(−½(x−μ)ᵀΣ⁻¹(x−μ))
公式里 μ 是均值,σ 是标准差,θ 是一次出现正面的概率,b 控制拉普拉斯分布的宽窄,D 是向量的维数,Σ 是协方差矩阵、|Σ| 是它的行列式。
这张表后面会反复回来:平方损失来自高斯假设,交叉熵来自伯努利假设,L2 正则对应高斯先验,L1 正则对应拉普拉斯先验。
3.2① 贝叶斯:抛 5 次硬币
先写出贝叶斯法则:P(A|B) = P(B|A)·P(A) / P(B),分母用全概率展开 P(B) = Σᵢ P(B|Aᵢ)·P(Aᵢ)。均匀硬币抛 5 次,A 是第一次为正面,B 是总共 3 正 2 反,求 P(A|B)。走公式:P(A) = 1/2,P(B) = C(5,3)/2⁵ = 10/32,P(B|A) = C(4,2)/2⁴ = 6/16,得 3/5。
更快的算法是直接数。条件已经限定了「恰有 3 正 2 反」,正面位置共有 C(5,3) = 10 种等可能组合。其中第一位是正面的有 C(4,2) = 6 种,直接 6/10 = 3/5,两行写完。
一步一步看
目标:用贝叶斯法则算 5 次里 3 正时第一次是正面的概率,再用数排列的快法核对是不是 3/5。
每帧多写一行推导,青绿框是这一步新写的那一行。
-
先验:P(A) = 1/2,第一次是正面只看第一次。
-
分母:5 个位置挑 3 个放正面,P(B) = C(5,3)/2⁵ = 10/32。
-
似然:第一次已是正面,剩下 4 次里 2 正 2 反,P(B|A) = C(4,2)/2⁴ = 6/16。
-
代进贝叶斯法则:(6/16 · 1/2) / (10/32) = 3/5。
-
快法验算:3 正 2 反共 10 种排列,第一位是正面的 6 种,6/10 = 3/5。
3.2② 贝叶斯:帽子里的两枚硬币
帽子里一枚均匀硬币、一枚双面正面的硬币,随机取一枚抛出得正面,问取到不均匀那枚的概率。P(A) = 1/2,P(B|A) = 1,P(B) = 1/2·1 + 1/2·1/2 = 3/4,得 2/3。
若结果是反面,双面正的硬币不可能出反面,似然为 0,所以 P(A|¬B) = 0。后一问才是重点:只要某个假设下这个观测不可能发生,证据就能把这个假设的后验压到 0。
一步一步看
目标:摸一枚硬币抛出正面,用贝叶斯法则算它是双面正硬币的概率,再看抛出反面时后验怎样变成 0。
每帧多写一行推导,青绿框是这一步新写的那一行。
-
先验 P(A) = 1/2;双面正的硬币一定出正面,P(B|A) = 1。
-
分母按取到哪枚拆开:P(B) = 1/2 · 1 + 1/2 · 1/2 = 3/4。
-
代进贝叶斯法则:(1 · 1/2) / (3/4) = 2/3。
-
换成抛出反面:P(¬B|A) = 0,后验 P(A|¬B) = 0。
4. 统计三问
五个分数 {6, 7, 5, 3, 8}:① 均值 5.8、中位数 6、方差 2.96(除以 n−1 为 3.7)、标准差约 1.72;② 标准化用 (x − x̄)/σ,除的是标准差;③ 均值无偏,除以 n 的方差偏小。完整过程见下方完整例题。
一步一步看
目标:对五个分数一列列算均值、偏差、平方和与标准差,看除以 n 和 n−1 的差别,最后把 8 分标准化。
表格一列一列往右填,青绿色是这一步新算出来的数。
-
五个数加起来 29,均值 29/5 = 5.8;排序后 3 5 6 7 8,中位数 6。
-
每个分数减去 5.8,得偏差 0.2、1.2、−0.8、−2.8、2.2,加起来是 0。
-
偏差平方,得 0.04、1.44、0.64、7.84、4.84,平方和 14.8。
-
除以 n 得 2.96,标准差约 1.72;除以 n−1 得 3.7,标准差约 1.92。
-
8 分标准化:(8 − 5.8)/1.72 ≈ 1.28,分母是标准差。
5. 编程题的两个结论
题目要求加载 iris 的 150 条样本、随机打乱、按 8:2 划分,用 KNN 预测并算总体准确率。
讲师特别强调打乱的是行的顺序,不是每行内部的四个特征。四个特征分别是花萼长宽和花瓣长宽,一旦行内乱序,距离计算就在拿花萼长度跟花瓣宽度比。
换十组随机划分实测:K = 1 与 3 平均 0.9800,K = 5 与 15 平均 0.9833。K = 30 掉到 0.9633,K = 60 明显下滑到 0.9233。
结论一,K 越大越准是错的。训练集每类只有约 40 个样本,K = 60 时投票里必然混进大量另外两类的点,决策边界被抹平,成了欠拟合。
结论二,单次划分的结果不可信。同一个 K 换个随机种子,准确率能从 0.9333 跳到 1.0000。测试集只有 30 个样本,差一个就是 3.3 个百分点,要么多次划分取平均,要么做交叉验证。
课件里的坑
- [课件有误] 标准化那一问的答案文档写成除以方差 V,要让方差变成 1 应当除以标准差 √V。量纲上一眼能看出来:分子是「分」,分母若是「分²」,结果的单位就不对,以
(x − μ)/σ为准。 - [课件留白] 六个概率分布的公式题目要求写出来,答案文档只重复了题面,一个公式都没给。期末闭卷这些要能默写,上面那节已经补齐。
- [课件留白] 统计第一问的答案只给了除以 n 的 2.96,没给除以 n−1 的 3.7,而紧接着的第三问问的正是这两者的差别,对照不上。
- [补充] 编程题讲师只给了要求,没有给参考实现和结果。上面那组实测数据是自己跑十组随机划分得到的,可以直接拿来对照自己的实现——数量级差很远就说明实现有问题。
- [补充] iris 的四个特征都以厘米为单位、量级相近,所以这个数据集上做不做标准化差别很小。别因此得出标准化不重要的结论,换成年龄加收入这类量纲混杂的数据差别会非常大。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条——全概率公式、六个分布里的高斯与伯努利、标准化公式;再把下面的「变式题」做一遍;最后回查两处最容易错的地方——标准化时除成了方差、报告单次划分的准确率。三步做完再往下看答案。
必背
- 贝叶斯公式的分母要用全概率公式展开;似然为零的假设后验直接被压成 0,这正是朴素贝叶斯需要平滑的原因。
- 除以 n 的方差有偏且系统性偏小,E[V] = ((n−1)/n)·σ²;标准化时除以标准差 σ,不是方差。
- 平方损失来自高斯假设、交叉熵来自伯努利假设、L2 正则来自高斯先验、L1 正则来自拉普拉斯先验。
- KNN 用距离度量,量纲混杂的数据必须先标准化 yᵢ = (xᵢ − x̄)/σ,否则距离几乎完全由量级大的那一维决定。
- 打乱数据打乱的是行的顺序,不是每行内部的特征;单次划分的准确率不可信,要多次划分取平均或做交叉验证。
- K 越大越准是错的:K 过大时投票混进大量其他类别的点,决策边界被抹平成欠拟合。
完整例题
统计那节完整走一遍:五个分数 {6, 7, 5, 3, 8}。(a)求均值、中位数、方差和标准差,方差分别按除以 n 和除以 n−1 给出。(b)把 8 分标准化。(c)均值和除以 n 的方差是不是无偏的?
第一步,均值和中位数。均值 x̄ = 29/5 = 5.8。排序后 {3, 5, 6, 7, 8},中位数取中间的 6。
第二步,方差。各项偏差为 {0.2, 1.2, −0.8, −2.8, 2.2},平方和 14.8。除以 n 得 14.8/5 = 2.96,标准差约 1.72。除以 n−1 得 14.8/4 = 3.7,标准差约 1.92。
第三步,标准化。用除以 n 的标准差:(8 − 5.8)/1.72 ≈ 1.28。分母是标准差 1.72,不是方差 2.96。
第四步,无偏性。均值无偏,E[x̄] = μ。除以 n 的方差有偏,期望是 ((n−1)/n)·σ²,这里 n = 5,平均来看只有真实方差的 4/5。
答案:均值 5.8、中位数 6、方差 2.96(除以 n−1 为 3.7)、标准差约 1.72;8 分标准化后约 1.28;均值无偏,除以 n 的方差系统性偏小。
变式题(先自己做)
(1)五个分数 {4, 9, 6, 5, 6}:求均值、中位数、除以 n 与除以 n−1 的方差,再把 9 分标准化(用除以 n 的标准差)。(2)帽子里有两枚均匀硬币和一枚双面正面的硬币,随机取一枚抛出得正面,取到双面正那枚的概率是多少?
提示
(1)中位数要先排序;标准化的分母开根号。(2)先写 P(A),再用全概率公式把 P(正面) 按「取到哪种硬币」拆开。
参考答案与自检(非官方评分标准)
(1)均值 30/5 = 6;排序 {4, 5, 6, 6, 9},中位数 6。偏差 {−2, 3, 0, −1, 0},平方和 14。除以 n:14/5 = 2.8,标准差约 1.673;除以 n−1:14/4 = 3.5,标准差约 1.871。9 分标准化:(9 − 6)/1.673 ≈ 1.79。
(2)A = 取到双面正,P(A) = 1/3,P(正|A) = 1。P(正) = 1/3·1 + 2/3·1/2 = 2/3。P(A|正) = (1/3)/(2/3) = 1/2。
自检:(1)分母用的是标准差而不是方差;(2)分母按全概率公式展开了两项,算对。
闪卡自测
1. 贝叶斯公式的分母 P(B) 怎么写?
用全概率公式展开:P(B) = Σᵢ P(B|Aᵢ)·P(Aᵢ)。不展开分母是最常漏的一步。
2. 抛 5 次 3 正 2 反、求第一次是正面的概率,有什么两行写完的快法?
正面位置共 C(5,3) = 10 种等可能组合,第一位是正面的有 C(4,2) = 6 种,直接 6/10 = 3/5。
3. 双面正硬币那题里,结果为反面时后验为什么是 0?
双面正的硬币不可能出反面,该假设赋予这个观测的似然是 0,乘进分子后整个后验被压成 0。这也是朴素贝叶斯要做平滑的原因:训练集里没出现过的特征值会让整个后验归零。
4. 六个分布里,哪个对应平方损失、哪个对应交叉熵、哪个对应 L1 正则?
高斯对应平方损失,伯努利对应交叉熵,拉普拉斯对应 L1 正则;L2 正则对应高斯先验。
5. 除以 n 的方差为什么有偏?偏大还是偏小?
偏小,E[V] = ((n−1)/n)·σ²。偏差算的是相对于样本均值而非真实 μ 的离差,而样本均值恰是让平方和最小的那个点,所以天然偏小,除以 n−1 补上缺口。
6. 标准化除以什么?答案文档错在哪?
除以标准差 σ。答案文档写成了除以方差 V,量纲不对,方差也变不成 1。
7. 编程题为什么只能打乱行、不能打乱每行内部的特征?
打乱特征会破坏「第 i 列是同一个物理量」这个前提,距离计算就在拿花萼长度跟花瓣宽度比。打乱行只改变样本出现的次序。
8. KNN 那道编程题里,K 越大准确率越高吗?单次划分的准确率能报吗?
都不能。K 从 1 到 15 基本持平,30 开始掉,60 明显下滑——投票范围过大时混进大量其他类别的点,决策边界被抹平成欠拟合。单次划分也不可信,30 个测试样本差一个就是 3.3 个百分点,要多次划分取平均或做交叉验证。
9. 为什么在 iris 上做不做标准化差别很小?
四个特征都以厘米为单位、量级相近。换成年龄加收入这类量纲混杂的数据,差别会非常大。
下一步
六个分布的公式抄一遍贴在桌上,它们后面会以损失函数的形式再出现——平方损失来自高斯、交叉熵来自伯努利、L1 正则来自拉普拉斯。编程题那份实现如果还没跑通,先从划分函数写起:打乱行、不打乱特征、固定随机种子,这三件事做对了,后面的距离计算和投票都是几行的事。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。