L03b 朴素贝叶斯分类器:先学每一类长什么样,再倒推
分类的另一条路:不学分界线,先数每一类占多少、每一类的特征长什么样,来了新样本用贝叶斯法则倒推它属于哪一类。训练只要数数和求均值方差,测试靠独立性连乘。
一句话版
分类还有一条路:不学分界线,改学每一类占多大比例、每一类的特征长什么样。来了新样本,问一句「如果它属于这一类,长成这样的可能性有多大」,乘上这一类的比例,哪类分数高就判哪类。朴素贝叶斯分类器(NBC)是这条路上最简单的方法。
前四页讲的逻辑回归走的是另一条路,直接学 P(y|x),从 L03a 读起。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 条件概率 P(A|B) | 读「给定 B 时 A 的概率」 | 只看 B 发生的那些情况,其中 A 占多少 |
| 先验 / 后验 | prior / posterior | 看特征之前各类的占比 / 看完特征之后修正的估计 |
| 贝叶斯法则 | Bayes’ rule | 用「先验 × 这一类出现这种 x 的概率」倒推后验 |
| 联合分布 | joint distribution | x 和 y 同时出现的概率,等于 P(x|y)·P(y) |
| 高斯分布 | Gaussian,正态分布 | 钟形曲线,由均值 μ 和方差 σ² 决定 |
| 归一化 | normalization | 几个分数各除以它们的总和,让它们加起来为 1 |
一个类比:认字迹的老师
一位老师收到一张没写名字的作业,要猜是哪个学生交的。
逻辑回归式的老师会总结一条判别规则:「字往右斜、写得密,就是甲」。朴素贝叶斯式的老师不总结规则,他平时分别记住每个学生的字长什么样:甲的字多半右斜、常写得密,乙的字多半端正、写得疏。他还知道全班作业里甲交得多、乙交得少。
拿到无名作业,他分别问:「如果这是甲写的,出现这种斜度、这种密度的可能性多大?」再乘上甲平时交作业的比例。乙也算一遍,分数高的就是答案。
类比在哪里失效:
- 老师会把斜度和密度分开打分再相乘,等于假设这两样特征互不相关。真实字迹里两者常常一起变,这个假设几乎总是错的,方法却照样能用来排序。
- 老师认得出从没见过的字迹特征组合;NBC 只会用训练时数出来的比例,没见过的取值概率是 0,整个乘积跟着变 0。
从零讲起
1. 先补一块:条件概率与贝叶斯法则(补充)
它解决什么问题
NBC 训练时学到的是「这一类长出这种 x 的概率」P(x|y),测试时要的却是「这个 x 属于哪一类」P(y|x)。两者方向相反,需要一条公式把一个换成另一个。
从哪来(补充)
这条公式出自 Thomas Bayes 的遗稿。他去世后由 Richard Price 整理两年,1763 年 12 月 23 日在英国皇家学会宣读并当年发表。Pierre-Simon Laplace 在 1774 年独立得到同一结果并加以推广,1812 年在《概率的解析理论》里作了总结。
直觉
条件概率就是缩小范围再数。P(A1 | c1) 是「只看 c1 类的样本,其中特征取 A1 的占多少」;P(c1 | A1) 是「只看特征取 A1 的样本,其中属于 c1 的占多少」。两个数的分母不同,一般不相等。
贝叶斯法则把两者连起来:先验乘上 P(x|y),得到「既是这一类、又长这样」的概率,再除以「长这样」的总概率。
一步一步看
目标:用 10 个样本的小表套贝叶斯法则算 p(c1 | A1),再直接数一遍,看两种算法都得 0.8。
用一张 10 个样本的小表验证一遍:c1 有 6 个,其中 4 个特征 a 取 A1;c2 有 4 个,其中 1 个取 A1。问:一个样本 a = A1,它属于 c1 的概率是多少?
-
先验:p(c1) = 6/10 = 0.6。
-
条件概率:p(A1 | c1) = 4/6。
-
分母:全部样本里取 A1 的有 4 + 1 = 5 个,p(A1) = 5/10 = 0.5。
-
倒推:p(c1 | A1) = 0.6 × (4/6) ÷ 0.5 = 0.8。直接数验证:取 A1 的 5 个样本里有 4 个属于 c1,4/5 = 0.8,对上了。
怎么算
p(y | x) = p(y) · p(x | y) / p(x)
意思是:后验等于先验乘「这一类长出这种 x 的概率」,再除以「x 出现的总概率」。
分母可以按类别拆开:
p(x) = Σ_c p(y = c) · p(x | y = c)
意思是:p(x) 就是每一类的「先验 × 条件概率」全部加起来。所以除以 p(x) 和「各类分数各除以分数总和」是同一件事,这一步就叫归一化。
p(x) 对每一类都是同一个数。只想知道哪一类最大时,可以不除,直接比较 p(y)·p(x|y)。
常见误解
以为 P(A1 | c1) 和 P(c1 | A1) 差不多
分母不同。上面的例子里 P(A1 | c1) = 4/6 ≈ 0.667,P(c1 | A1) = 0.8。把两者弄混是概率题里最常见的错。
以为不除 p(x) 得到的就是后验概率
不除得到的是未归一化的分数,几类加起来一般不等于 1。比大小够用,报概率不行。
试一下
同一张表,一个样本 a = A1,它属于 c2 的概率是多少?
p(c2) × p(A1 | c2) ÷ p(A1) = 0.4 × (1/4) ÷ 0.5 = 0.2。和上面的 0.8 加起来正好是 1。直接数:5 个取 A1 的样本里 1 个属于 c2。
2. 判别式与生成式
它解决什么问题
逻辑回归和朴素贝叶斯都在回答「新样本属于哪类」,学的东西却完全不同。分清两条路,才知道各自要估几套参数、测试时怎么出结果,以及后面的方法归哪一边。
直觉
判别式只学分界线:给定 x,y 是哪类。它不关心每一类的 x 本身长什么样。
生成式学每一类的全貌:这一类占多少(先验),这一类的 x 通常长什么样(条件分布)。两者相乘就是 x 和 y 一起出现的联合分布。学到了这个,理论上还能按分布造出新样本,「生成式」的名字由此而来。
一步一步看
目标:把判别式和生成式按训练、测试两阶段并排看,看两者各建什么分布、怎样得到 P(y|x)。
两条路按训练、测试两个阶段并排看。
-
判别式训练:建 P(y|x) = f(x, w),只估一套参数 w;输出一组概率,对齐 one-hot 标准答案。
-
判别式测试:把新样本 x 代进 f,直接得到 P(y|x)。
-
生成式训练:建 P(y) = h(w’) 和 P(x|y) = g(w) 两个分布,估 w 和 w’ 两套参数。
-
生成式测试:先算 P(y)·P(x|y),再用贝叶斯法则换成 P(y|x)。
怎么判断
看它在训练时建的是哪个概率:
P(x, y) = P(x | y) · P(y)
意思是:生成式建的是联合分布,它天然拆成条件和先验两块,所以要估两套参数。判别式跳过联合分布,直接建 P(y|x),只要一套参数。
两列的成员:
| 判别式 | 生成式 |
|---|---|
| Logistic Regression | Naïve Bayes Classifier |
| Support Vector Machine | Markov Random Fields |
| Conditional Random Fields | Hidden Markov Models |
意思是:这一讲只讲每列第一个,其余名字会出现在判断题里,记住在哪一列就够了。
常见误解
以为生成式参数多,所以更准
通常反过来。条件分布 p(y|x) 比联合分布 p(y, x) 容易学,判别式把建模能力全用在分界上,准确率通常更高。
以为判别式也能生成新样本
判别式学不到 x 本身的分布,只知道给定 x 时 y 是什么,造不出新的 x。
试一下
一个方法训练时只学了一个函数 f(x, w),输出各类的概率。它属于哪一列?测试时需要贝叶斯法则吗?
判别式。它直接给出 P(y|x),测试时把 x 代进去即可,不需要贝叶斯法则。
3. NBC 训练:数数和求均值方差
它解决什么问题
生成式要学 P(y) 和 P(x|y)。x 有很多维时,P(x|y) 是一个高维分布,直接学几乎不可能。NBC 用两个假设把它压成几个可以直接数出来的数,不需要梯度下降。
直觉
先验最简单:数每一类有多少样本,除以总数。
条件分布按特征类型分两种做法。类别型特征(取 A1、A2 这种标签),就在每一类内部数各取值的比例。实值特征(取 0.25、12 这种数),假设它在每一类内服从钟形的高斯分布,只要算这一类在这个特征上的均值和方差。
一步一步看
目标:用一张 10 个样本的类别型表数出先验和条件概率,看 NBC 训练只靠数数,不用迭代。
用一张全是类别型特征的小表走一遍:10 个样本,c1 有 6 个、c2 有 4 个;特征 a 取 A1 或 A2,特征 b 取 B1 或 B2。
-
数先验:p(c1) = 6/10,p(c2) = 4/10,分母是全部样本数。
-
在 c1 内部数:6 个样本里 a = A1 有 4 个,b = B1 有 3 个,得 p(A1|c1) = 4/6,p(B1|c1) = 3/6。
-
在 c2 内部数:4 个样本里 a = A1 有 1 个,b = B1 有 3 个,得 p(A1|c2) = 1/4,p(B1|c2) = 3/4。
-
训练结束。没有迭代,没有学习率,全部参数都是数出来的。
怎么算
p(y = cᵢ) = count(cᵢ) / N
意思是:第 i 类的先验等于这一类的样本数除以总样本数。
类别型特征:
p(xⱼ = A_k | y = cᵢ) = count(A_k) / N_{cᵢ}
意思是:只在 cᵢ 这一类里数取值 A_k 出现了几次,分母是这一类自己的样本数。
实值特征:
p(xⱼ | y = cᵢ) ~ 𝒩(μ_{j/cᵢ}, σ²_{j/cᵢ})
意思是:假设第 j 个特征在 cᵢ 类内服从高斯分布,用这一类样本在这一维上的均值和方差当 μ 和 σ²。每个「类别 × 实值特征」组合各估一对。
合起来:
p(x, y) = p(x | y) · p(y)
意思是:训练完等于学到了 x 和 y 的联合分布,这正是生成式的定义。
NBC 用到两个假设,要分开记。一是特征在类内互相独立,这是名字里「朴素」的含义,下一个概念要用它。二是实值特征在类内服从高斯,这是额外加的,不是推导出来的。
常见误解
以为 NBC 只有一个假设:特征独立
有两个。另一个是实值特征类内服从高斯。课件在高斯那一行用红框标了「Assumption !!」。
以为条件概率的分母也是全部样本数 N
条件概率只在本类内部数,分母是这一类的样本数。p(A1|c2) = 1/4,不是 1/10。
试一下
三个类别、三个实值特征、一个类别型特征(两个取值)。高斯部分一共要估多少个数?
每个「类别 × 实值特征」组合估 μ 和 σ² 两个数:3 × 3 × 2 = 18。类别型特征另外在每类内部数比例。
4. NBC 测试:独立性连乘,再比大小
它解决什么问题
训练好的参数怎么给新样本打分?要把每个特征的类内概率组合成 p(x|y),再按贝叶斯法则换成后验。
直觉
假设特征在类内互相独立,「这一类同时长出 a = A1 和 b = B1」的概率,就等于两个单独概率相乘。每一类的分数是:先验 × 第一个特征的概率 × 第二个特征的概率 × …… 哪类分数高判哪类。
归一化的分母对每一类都一样,只分类可以省掉。
一步一步看
目标:给新样本 A1、B1 依次乘先验和两个条件概率,看两类分数怎样拉开、最后判成 c1。
新样本 a = A1、b = B1,沿用上一个概念的计数。
-
取出两类的先验:c1 是 0.6,c2 是 0.4。c1 本来就多,先领先。
-
乘上 p(A1 | 类):c1 是 0.6 × 4/6 = 0.4,c2 是 0.4 × 1/4 = 0.1。A1 在 c1 里常见、在 c2 里少见,差距拉大。
-
再乘 p(B1 | 类):c1 是 0.4 × 3/6 = 0.2,c2 是 0.1 × 3/4 = 0.075。
-
0.2 > 0.075,判 c1。要报概率才归一化:0.2 ÷ 0.275 ≈ 0.727,0.075 ÷ 0.275 ≈ 0.273。
怎么算
p(x | y = cᵢ) = Π_{j} p(xⱼ | y = cᵢ)
意思是:独立性假设让多维的 p(x|y) 拆成各维概率连乘。
p(y = cᵢ | x) ≈ p(y = cᵢ) · Π_{j} p(xⱼ | y = cᵢ)
意思是:后验正比于先验乘连乘,这里的「≈」表示还没除以 p(x)。
p(y = cᵢ | x) = 分数ᵢ / Σ_{c'} 分数_{c'}
意思是:归一化就是各类分数除以分数总和。分母对每一类都一样,除不除不改变谁最大,所以只分类时可以省,要报一个像样的概率值时不能省。
连乘有个副作用:特征一多,很多个小于 1 的数相乘,结果小得飞快,归一化后往往逼近 0 或 1。排序还是对的,数值不能当真实概率用。
整个训练加测试的流程:
常见误解
以为独立性假设在现实中不成立,所以 NBC 没用
假设不成立和方法没用是两回事。独立性把参数量从指数级压到线性级,实践中排序往往仍然可靠。
以为分数大的那一类概率就接近 1
未归一化的分数只能比大小。上面的例子归一化后 p(c1|x) = 0.2/(0.2 + 0.075) ≈ 0.727,离 1 还远。
试一下
新样本 a = A1、b = B2。B2 的类内比例是 1 减去 B1 的比例。判哪类?
p(B2|c1) = 3/6,p(B2|c2) = 1/4。c1:0.6 × 4/6 × 3/6 = 0.2;c2:0.4 × 1/4 × 1/4 = 0.025。判 c1,归一化后约 0.889 对 0.111。
把它们串起来
分类有两条路。逻辑回归走判别式,直接学 P(y|x)。朴素贝叶斯走生成式,学每一类的占比 P(y) 和每一类的特征分布 P(x|y),测试时用贝叶斯法则把方向倒过来。
P(x|y) 是多维分布,直接学不动。NBC 用两个假设把它压成可以数出来的数:特征类内独立,实值特征类内服从高斯。于是训练只剩数数和求均值方差,没有优化。
测试时,每一类算一个分数:先验乘各维概率的连乘。分数最大的那类就是答案。归一化的分母对所有类都一样,只分类可以不除;要报概率值才除,而且连乘让数值偏向两端,排序可信、数值别当真。
两条路各有长短。下一页把它们并排比:各自的假设、优点、局限,以及它们通向课程的哪一半。
课件里的坑
- [读图提醒] p.28 汇总表最后一行用的是等号,严格的贝叶斯法则是 p(y|x) = p(y)·p(x|y) / p(x)。此处应理解为未归一化的后验分数,与 p.27 的口径一致;题目要求真实后验概率时分母不能漏(p.28)。
- [补充] p.10 左列第二个写作 Scalar Vector Machine,通行叫法是 Support Vector Machine(支持向量机)(p.10)。
- [读图提醒] p.28 特意用绿色高亮区分「分布」和「概率」:训练阶段学的是分布(函数,有参数),测试阶段用的是概率(把具体的 x 代进去得到的一个数)(p.28)。
- [数据截断] p.25–27 的训练表用省略号截断,算不出具体数值。考试考的是流程、两个假设和「归一化可省」(p.27)。
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写贝叶斯法则和 NBC 训练的两个分布怎么估;再写出测试时的连乘式,说明归一化什么时候能省;最后做完整例题和变式题。
必背
- 判别式建 P(y|x) 只估一套参数、测试时直接算;生成式建 P(y) 与 P(x|y) 要估两套、测试时用贝叶斯法则倒推。
- NBC 训练学两件事:先验 p(y = cᵢ) = count(cᵢ)/N;条件分布按特征类型分流,实值特征假设类内高斯(这是额外假设),类别型特征用类内计数比例。
- NBC 测试用独立性假设把 p(x|y) 拆成各维连乘,后验正比于先验乘连乘;只比大小时归一化可省,要报告概率值时不能省。
- 贝叶斯法则 p(y|x) = p(y)·p(x|y) / p(x):分母 p(x) 对所有类别相同,只比大小时可以不算。
- NBC 有两个假设:特征类内条件独立(朴素的含义),以及实值特征类内服从高斯,判断题常把两者揉成一条。
- 判别式成员:Logistic Regression、Support Vector Machine、Conditional Random Fields;生成式成员:Naïve Bayes Classifier、Markov Random Fields、Hidden Markov Models。
课件例题
例 1(课件 p.9–10):判别式与生成式分类器在训练和测试阶段各做什么?各举三个成员。
提示
训练阶段看建的是哪个概率、估几套参数;测试阶段看是直接算还是用贝叶斯法则倒推。
解答
判别式训练时建 P(yⁱ|xⁱ) = f(xⁱ, w),只估 w,预测的概率向量对齐 one-hot 标准答案;测试时直接算 P(yᵏ|xᵏ)。生成式训练时建 P(yⁱ) = h(w’) 和 P(xⁱ|yⁱ) = g(w),估 w 和 w’ 两套;测试时用贝叶斯法则倒推 P(yᵏ|xᵏ)。生成式估两套是因为联合分布 P(x, y) = P(x|y)·P(y) 天然拆成两块。成员:判别式 Logistic Regression、Support Vector Machine(课件写作 Scalar Vector Machine)、Conditional Random Fields;生成式 Naïve Bayes Classifier、Markov Random Fields、Hidden Markov Models。
例 2(课件 p.25–26):训练表有四个特征,x₁ 取 0.2, 0.1, 0.25, …, 0.5(实值),x₂ 取 A1, A2, …(类别型),x₃ 取 10, 6, 12, …, 8(实值),x₄ 取 −3, −2, −1, …, −2.5(实值),标签 y 取 c1、c2、c3。训练阶段要学哪些东西,各怎么算?
提示
两个分布:先验和条件分布。条件分布按特征是实值还是类别型分两种做法。
解答
学两个分布。先验 p(y = cᵢ) = count(cᵢ)/N,数每类样本占比。条件分布按特征类型分流:三个实值特征 x₁、x₃、x₄ 在每个类别内假设服从高斯,各估一个均值 μ 和方差 σ²,三类 × 三特征 × 2 = 18 个参数;类别型特征 x₂ 在每类内部数 A1、A2 的出现比例。高斯这一步是额外假设,课件用红框标了「Assumption !!」。合起来等于学到了 x 和 y 的联合分布 p(x, y) = p(x|y)·p(y),这是生成式的定义。
例 3(课件 p.27):用例 2 训练好的模型,预测测试点 [0.25, A1, 12, −1.1] 的类别。
提示
对三个类别各算一个分数:先验乘四个特征的类内概率。想清楚最后要不要归一化。
解答
对 c1、c2、c3 各算一个分数。取出先验 p(y = cᵢ);四个特征各取一个类内概率:x₁ = 0.25、x₃ = 12、x₄ = −1.1 代入该类对应的高斯密度,x₂ = A1 取该类内 A1 的比例。假设特征独立,四项连乘再乘先验,得到未归一化的后验分数。三类分数里最大的就是预测类别,归一化可省;要报概率值时除以三类分数之和。课件表格用省略号截断,没有完整数据,算不出具体数值,考试会考这套流程和「独立性」「归一化可省」两个点。
完整例题
题面(自编情境,补足课件 p.25–27 截断的数值):训练集 10 个样本,类别 c1 有 6 个、c2 有 4 个。两个类别型特征:特征 a 取 A1 或 A2,特征 b 取 B1 或 B2。c1 的 6 个样本里 a = A1 有 4 个、b = B1 有 3 个;c2 的 4 个样本里 a = A1 有 1 个、b = B1 有 3 个。新样本 (A1, B1) 判哪类?报出归一化后的概率。
约定:概率保留三位小数;假设特征类内独立。
解法:
- 先验:p(c1) = 6/10 = 0.6,p(c2) = 4/10 = 0.4。
- 条件概率:c1 内 p(A1|c1) = 4/6,p(B1|c1) = 3/6;c2 内 p(A1|c2) = 1/4,p(B1|c2) = 3/4。
- 连乘乘先验:c1 为 0.6 × 4/6 × 3/6 = 0.2;c2 为 0.4 × 1/4 × 3/4 = 0.075。c1 分数高,判 c1。只做分类到这里就够了。
- 要报概率才归一化:总和 0.275,p(c1|x) = 0.2/0.275 ≈ 0.727,p(c2|x) ≈ 0.273。
要点:先验和条件概率的分母不同,前者是 N,后者是本类样本数;归一化放在最后,而且只在要报概率时做。
答题格式:先验 → 条件概率 → 各类分数 → 判类 → (需要时)归一化,每行写公式再代数。
变式题(先自己做)
自编情境,沿用上面完整例题的训练集。(a)新样本 (A2, B2) 判哪类?报出归一化后的概率。(b)这道题如果只问「判哪类」,归一化那一步要不要做?为什么?
提示
A2 的类内比例是 1 减 A1 的比例,B2 同理。(b)想一想归一化的分母对两类是不是同一个数。
判分点与答案(非官方评分标准)
判分点:① A2、B2 的类内比例用 1 减求对;② 分数和判类正确;③ 说出分母对各类相同。
(a)p(A2|c1) = 2/6,p(B2|c1) = 3/6;p(A2|c2) = 3/4,p(B2|c2) = 1/4。c1:0.6 × 2/6 × 3/6 = 0.1;c2:0.4 × 3/4 × 1/4 = 0.075。判 c1。归一化:0.1/0.175 ≈ 0.571,c2 ≈ 0.429。
(b)不用。归一化的分母 0.175 对两类相同,除不除都是 c1 大。两类分数差距比例题小得多,归一化后的概率能看出这次判断不如例题稳,这是要报概率时才看得到的信息。
闪卡自测
1. 判别式与生成式在训练阶段各要估几套参数?
判别式一套 w,生成式 w 与 w’ 两套(p.9)。
2. 为什么判别式生成不出新样本?
它跳过联合分布,只学给定 x 时 y 的概率,学不到 x 本身的分布(p.9)。
3. Support Vector Machine、Hidden Markov Models 各属于哪一列?
SVM 属于判别式,HMM 属于生成式(p.10)。
4. NBC 的先验怎么算?
p(y = cᵢ) = count(cᵢ)/N(p.26)。
5. NBC 的两个假设是什么?
特征类内条件独立;实值特征类内服从高斯(p.26、p.27)。
6. 「朴素」指的是哪个假设?
Assume all features are independent,特征独立(p.27)。
7. 归一化什么时候可以省?
只比大小、选最大类时可以省;要报告概率值时不能省(p.27)。
8. p.28 汇总表里的等号该怎么理解?
未归一化的后验分数,严格的贝叶斯法则还要除以 p(x)(p.28)。
下一讲
两条路都走完了,各自赢在哪、输在哪?缺了一个特征、多了一个类别时谁更好办?L03b-2 逻辑回归与朴素贝叶斯对比。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。