L03a-3 贝叶斯公式:灵敏度 99% 的检验,阳性里只有 2% 真有病
从条件概率的定义出发,补上乘法公式和全概率公式,一步一步推出贝叶斯公式,再用十万人的人数树看懂基础率谬误。
一句话版
贝叶斯公式把条件的方向翻过来:已知「原因成立时看到这个现象」的概率,求「看到这个现象时原因成立」的概率。它不是新规则,只是把条件概率的定义换个方向写两次。
上一页 L03a-2 讲了条件概率 P(E|F) = P(EF)/P(F)。这一页先补两个小公式,再推出贝叶斯公式,最后用一道疾病检测题看它为什么反直觉。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 乘法公式 | multiplication rule | 同时发生 = 先发生一个,再在它发生的条件下发生另一个 |
| 全概率公式 | law of total probability | 把一件事按几种互斥的情况拆开算,再加起来 |
| 贝叶斯公式 | Bayes’ formula | 把条件概率的方向翻过来 |
| 先验 | prior,P(F) | 还没看到证据时,你对一件事的相信程度 |
| 后验 | posterior,P(F|E) | 看到证据 E 以后,更新过的相信程度 |
| 基础率 | base rate | 一件事在整个人群里本来有多常见 |
| 基础率谬误 | base rate fallacy | 判断时只盯着证据,忘了基础率 |
一个类比:小区里的烟雾报警器响了
你家的烟雾报警器很灵:真着火时几乎一定会响。可它也挺敏感,有人在厨房煎牛排,它也会响。
现在它响了。你要判断的是:真着火了吗?
如果只想「着火时它几乎一定响」,你会觉得多半是着火了。可是一年到头,煎牛排的次数比着火多得多。哪怕煎牛排时它只偶尔响,响的那些次里,绝大多数还是煎牛排。
贝叶斯公式做的就是这笔账。它让你同时看两样东西:报警器有多灵(似然),以及着火本来有多罕见(先验)。
类比在哪里失效:
- 报警器响了你会去看一眼,马上知道答案。概率题里的「真相」通常看不到,只能靠这笔账估。
- 「煎牛排比着火常见」是生活常识。题目里的先验要用给定的数,不能凭感觉估。
从零讲起
1. 先补一块:乘法公式与全概率公式(补充)
它解决什么问题
贝叶斯公式的分子要用到 P(EF),分母要用到 P(E)。题目通常不直接给这两个数,只给「在某某条件下」的概率。乘法公式和全概率公式负责把它们拼出来。
直觉
乘法公式:两件事同时发生,可以分两步想。先让 F 发生,概率 P(F);F 发生了以后,E 再发生,概率 P(E|F)。两步相乘就是同时发生。
全概率公式:想知道 E 有多常见,可以把世界切成「F 发生」和「F 不发生」两块。每一块里算 E 占多少,再加起来。两块不重叠,又拼成了全部,所以加起来不多不少。
一步一步看
目标:用疾病检测的数先算出两块联合概率,再用全概率公式把它们加成 P(+)。
用疾病检测的数走一遍。患病记作 D,健康记作 H,阳性记作 +。已知 P(D) = 0.001,P(+|D) = 0.99,P(+|H) = 0.05。
-
健康是患病的补集,P(H) = 1 − 0.001 = 0.999。
-
乘法公式算「患病且阳性」:P(D 且 +) = P(+|D)P(D) = 0.99 × 0.001 = 0.00099。
-
乘法公式算「健康且阳性」:P(H 且 +) = P(+|H)P(H) = 0.05 × 0.999 = 0.04995。
-
全概率公式把两块加起来:P(+) = 0.00099 + 0.04995 = 0.05094。
| 块 | 条件概率 | 这一块的大小 | 相乘 |
|---|---|---|---|
| 患病 D | P(+|D) = 0.99 | P(D) = 0.001 | 0.00099 |
| 健康 H | P(+|H) = 0.05 | P(H) = 0.999 | 0.04995 |
| 合计 | P(+) = 0.05094 |
怎么算
乘法公式,从条件概率的定义两边乘 P(F) 得到:
P(EF) = P(E|F) · P(F)
意思是:同时发生 = 条件概率 × 条件那件事本身的概率。
E 和 F 的位置可以对调,同一个交集还能写成:
P(EF) = P(F|E) · P(E)
意思是:EF 和 FE 是同一件事,从哪一边拆都行,两种写法相等。
全概率公式:F 和 F^c 互斥,并起来是 S,所以 EF 和 EF^c 也互斥,并起来是 E。由可加性:
P(E) = P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c)
意思是:把 E 按「F 发生 / 不发生」拆成两块,每块用乘法公式算,再相加。
常见误解
全概率公式里漏掉 F^c 那一项
只写 P(E|F)P(F),算出来的只是「E 且 F」的部分。疾病题里漏掉健康人那一块,P(+) 就从 0.05094 变成 0.00099,后面贝叶斯的答案会变成 1,明显不对。两块必须都加上。
以为 P(+|D) 和 P(+|H) 加起来应该等于 1
它们的条件不同,一个在患病的人里算,一个在健康的人里算,没有理由加成 1。加起来等于 1 的是同一个条件下的两种结果,比如 P(+|D) + P(−|D) = 1。
试一下
一个工厂两条产线,A 线产量占 60%,次品率 2%;B 线产量占 40%,次品率 5%。随机抽一件,是次品的概率是多少?
P(次品) = 0.02 × 0.6 + 0.05 × 0.4 = 0.012 + 0.02 = 0.032。
2. 贝叶斯公式
它解决什么问题
题目给的条件概率经常方向是反的。检验说明书写的是「有病时阳性的概率」,你想知道的是「阳性时有病的概率」。贝叶斯公式就是把 P(E|F) 换成 P(F|E) 的工具。
从哪来(补充)
公式以 Thomas Bayes 命名。他是英国统计学家、哲学家和长老会牧师,1761 年去世,生前没发表这个结果。Richard Price 整理了他的手稿,1763 年在英国皇家学会宣读,题为 An Essay Towards Solving a Problem in the Doctrine of Chances。
Pierre-Simon Laplace 独立用到了条件概率,1774 年重新得出并推广了这个结果。今天课本上的写法,就是从联合概率的两种拆法直接推出来的。
出处:Wikipedia: Thomas Bayes、Wikipedia: Bayes’ theorem
直觉
你想要 P(F|E)。按定义它等于 P(EF)/P(E),分子分母都不知道。
分子:用乘法公式从「另一边」拆,P(EF) = P(E|F)P(F),这两个数题目都会给。分母:用全概率公式拆成两块,每块也都是题目给的数。
所以贝叶斯公式只是定义、乘法公式、全概率公式三样东西接在一起。
一步一步看
目标:从条件概率的定义一步步推出贝叶斯公式,再代入疾病检测的数,看阳性后患病的概率只有约 0.0194。
从条件概率的定义出发,一步一步推,每一步只做一件事。
- 写下要求的量的定义:P(F|E) = P(EF) / P(E)。
- 分子换成乘法公式的另一种拆法:P(EF) = P(E|F)P(F)。
- 分母换成全概率公式:P(E) = P(E|F)P(F) + P(E|F^c)P(F^c)。
- 把第 2、3 步代回第 1 步,得到贝叶斯公式。
| 步 | 式子 | 依据 |
|---|---|---|
| 1 | P(F|E) = P(EF) / P(E) | 条件概率的定义 |
| 2 | 分子 P(EF) = P(E|F)P(F) | 乘法公式,从 F 那一边拆 |
| 3 | 分母 P(E) = P(E|F)P(F) + P(E|F^c)P(F^c) | 全概率公式 |
| 4 | P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)] | 把 2、3 代回 1 |
用疾病检测的数代一遍,F 是患病 D,E 是阳性 +:
| 步 | 算什么 | 代数 | 结果 |
|---|---|---|---|
| 1 | 分子 P(+|D)P(D) | 0.99 × 0.001 | 0.00099 |
| 2 | 分母第二块 P(+|H)P(H) | 0.05 × 0.999 | 0.04995 |
| 3 | 分母 P(+) | 0.00099 + 0.04995 | 0.05094 |
| 4 | P(D|+) | 0.00099 / 0.05094 | ≈ 0.0194 |
怎么算
P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]
意思是:分子是「F 成立并且看到 E」的份额,分母是「看到 E」的全部份额;后验就是前者在后者里占的比例。
课件这一页把推导和三个部分的名字画在一起:
认题的信号:题目给的条件概率是 P(观测|原因),问的是 P(原因|观测),方向反了,就用贝叶斯。
常见误解
以为 P(D|+) 约等于 P(+|D)
两者分子一样,分母不同。P(+|D) 的分母是患病的人,P(D|+) 的分母是所有阳性的人,后者里混进了大量健康人的假阳性。疾病题里一个是 0.99,一个约 0.0194,差了几十倍。
背公式时把 F 和 E 的位置写乱
记一句:E 是你看到的(证据),F 是你想知道的。公式左边问的是 F,右边每一项都出现 P(E|·),即「在各种 F 的情况下看到 E 的概率」。
试一下
接着上一小节的工厂题:抽到一件次品,它来自 A 线的概率是多少?
P(A|次品) = P(次品|A)P(A) / P(次品) = 0.012 / 0.032 = 0.375。A 线产量多,但次品率低,所以次品里来自 A 线的不到一半。
3. 先验、后验与基础率谬误
它解决什么问题
疾病检测题的答案约 2%,和检验的 99% 差得很远。这一节说清楚直觉错在哪,以及怎样用人数而不是小数来算,让这个结果变得一眼可信。
从哪来(补充)
心理学家 Kahneman 和 Tversky 在 1973 年的论文 On the psychology of prediction 里研究过这种现象。他们的解释是代表性启发:人判断时看证据和某一类有多像,而不去管这一类本来有多常见。
出处:Wikipedia: Base rate fallacy
直觉
先验 P(D) 是你还没做检验时对「这人有病」的估计,等于这种病在人群里的比例。后验 P(D|+) 是看到阳性后的估计。
检验结果把先验往上推。推多少,要看真阳性和假阳性的比。病很罕见时,健康的人多到压倒一切,他们哪怕只有一小部分误报,人数也远超真正的病人。
一步一步看
目标:把概率换成 100000 个人分堆,看阳性的 5094 人里为什么只有 99 人真患病。
把概率换成人数,假设有 100000 人。
-
按患病率分成两堆:患病 100000 × 0.001 = 100 人,健康 99900 人。
-
每一堆再按检验结果分。患病的 99% 阳性,是 99 人;健康的 5% 误报,是 4995 人。
-
只看阳性的人:99 + 4995 = 5094 人,其中真患病 99 人,99/5094 ≈ 0.0194。
把阳性的 5094 人排成一条,真患病的只占最左边一小截:
怎么判断
看到一道贝叶斯题,先问三件事:
- 先验 P(F) 多大?很小的话,后验大概率不会高。
- 假阳性 P(E|F^c) 多大?乘上很大的 P(F^c),往往就是分母里的大头。
- 真阳性和假阳性的人数比是多少?后验大致就是真阳性占两者之和的比例。
疾病题里,假阳性 4995 人是真阳性 99 人的约 50 倍,后验自然只有约 2%。
常见误解
以为检验 99% 准,阳性就是 99% 有病
99% 是灵敏度,说的是病人里有多少能被测出来。它管不到健康人里有多少被误报。阳性的人里有多少真病人,要同时看患病率和误报率。这里是概率练习,不是临床诊断建议。
以为后验这么低,检验就没用
先验是 0.001,后验约 0.0194,相差约 20 倍,检验大幅提高了怀疑程度。实际中的做法是阳性后再做一次更准的检查,用这次的后验当下一次的先验。
试一下
同一种检验,改在 10000 人的高危人群里做,患病率 0.1。用人数树算阳性者真患病的比例。
患病 1000 人,阳性 990 人;健康 9000 人,误报 450 人。阳性共 1440 人,真患病 990/1440 ≈ 0.69。
把它们串起来
条件概率的定义只写了一个方向:P(F|E) = P(EF)/P(E)。贝叶斯公式做的事,是把分子和分母都换成题目给得出来的量。
分子靠乘法公式从另一边拆:P(EF) = P(E|F)P(F)。分母靠全概率公式拆成「F 成立」和「F 不成立」两块,每块又是一个乘法公式。三样东西接起来,就是贝叶斯公式。
公式里的 P(F) 叫先验,P(F|E) 叫后验。看到证据以后,信念从先验更新成后验。更新的幅度取决于真阳性和假阳性的相对大小,所以先验很小时,后验也高不到哪去。
人数树是同一笔账的另一种算法。把小数换成人数,两次分叉,只看阳性那两片叶子,比例一目了然。考场上用它验算,比直接代小数更不容易错。
下一页处理变量变多以后的问题:联合概率表大到列不完时,怎样用链式法则和条件独立把它拆小。
课件里的坑
- [课件有误] p.15 页脚印的是「32」,按序列应该是「16」,排版错误,不影响内容(p.15)
- [课件留白] p.15 的分母换写用的是全概率公式,课件只用蓝色虚线框了一下,没单独讲 → 本页第 1 个概念补上了推导(p.15)
- [课件留白] p.17 只给了 P(D|+) ≈ 0.0194,没解释为什么这么低 → 换成人数算:阳性 5094 人里真患病 99 人,假阳性约是真阳性的 50 倍(p.17)
- [术语] 99% 是检验的灵敏度(sensitivity),不是准确率,题面里的「准」指的是这个(p.16)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先从 P(F|E) = P(EF)/P(E) 出发,自己推一遍贝叶斯公式,每一步写出依据;再把疾病检测题用小数和人数各算一遍,都要得到约 0.0194;最后回查两个最容易错的地方:分母漏掉 F^c 那一项,把灵敏度当成阳性者患病的比例。
必背
- 乘法公式 P(EF) = P(E|F)P(F) = P(F|E)P(E):同一个交集有两种拆法。
- 全概率公式 P(E) = P(E|F)P(F) + P(E|F^c)P(F^c):F 和 F^c 把样本空间切成互斥的两块,分别算再相加。
- 贝叶斯公式 P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)],分子来自乘法公式,分母来自全概率公式。
- P(F) 是先验(看到观测之前的信念),P(F|E) 是后验(看到观测 E 之后更新过的信念)。
- 疾病检测题答案 ≈ 0.0194——先验极小时假阳性的绝对数量压倒真阳性,忽略这种基础率影响才叫 base rate fallacy。
- 换成人数复算:100000 人里 100 人患病、99 人阳性,99900 个健康人里 4995 人假阳性,阳性者真患病 99/5094 ≈ 2%。
课件例题
例 1(课件 p.15):推出贝叶斯公式,并指出先验和后验
题面:从 P(EF) 的两种拆法出发,推出 P(F|E) 的表达式;分母用 P(E|F)、P(E|F^c)、P(F)、P(F^c) 表示。说明式子里哪个是先验、哪个是后验。
提示
先写 P(EF) 的两种拆法并让它们相等;分母 P(E) 按 F 和 F^c 拆成两块。
解答
P(EF) = P(E|F)P(F) = P(F|E)P(E),解出 P(F|E) = P(E|F)P(F)/P(E)。
F 和 F^c 互斥且并起来是 S,所以 P(E) = P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c)。代入得
P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]。
P(F) 是先验,P(F|E) 是后验。
例 2(课件 p.16–17):检验阳性,真有病的概率是多少?
见下方完整例题。
完整例题
题面(课件 p.16–17):每 1000 人中有 1 人患病。检验对患病者有 99% 的概率报阳性,对健康者有 5% 的概率报阳性(假警报)。一个人检验结果是阳性,他真的患病的概率是多少?记 D 为患病者,H 为健康者,+ 为检验阳性。
解法:
- 把题面翻译成概率式。千分之一患病:P(D) = 0.001。对患者 99% 报阳:P(+|D) = 0.99。对健康人 5% 假阳:P(+|H) = 0.05。要求的是 P(D|+)。
- 认出要用贝叶斯。题目给的是 P(+|D),问的是 P(D|+),条件方向反了,这就是用贝叶斯公式的信号。
- 补出健康人的先验。H 就是 D^c,P(H) = 1 − 0.001 = 0.999。
- 写出公式:P(D|+) = P(+|D)·P(D) / [P(+|D)·P(D) + P(+|H)·P(H)]。
- 算分子:0.99 × 0.001 = 0.00099,这是真阳性的份额。
- 算分母:0.00099 + 0.05 × 0.999 = 0.00099 + 0.04995 = 0.05094,这是全部阳性的份额。
- 答案:P(D|+) = 0.00099 / 0.05094 ≈ 0.0194,约 2%。
- 人数验算:100000 人中患病 100、阳性 99;健康 99900、阳性 4995;99/(99 + 4995) = 99/5094 ≈ 0.0194,和第 7 步一致。
要点:检验灵敏度(sensitivity)99%,阳性者里真有病的只有约 2%。原因是先验太低,999 个健康人贡献的假阳性是病人贡献的真阳性的 50 倍。人的直觉盯着 99%,忽略先验 0.001,这叫 base rate fallacy(基础率谬误)。这里是概率练习,不是临床诊断建议。
答题格式:先列「已知:P(D)、P(+|D)、P(+|H);求:P(D|+)」,再写公式、代数、得数,最后一句解释为什么这么低。
变式题(先自己做)
(1) 改编自课件 p.16–17:检验不变,人群患病率从 0.001 提高到 0.1,重新计算 P(D|+)。 (2) 改编自课件 p.16–17:患病率仍是 0.001,检验对患者仍有 99% 报阳性,但健康人的误报率从 5% 降到 1%。重新计算 P(D|+)。 (3) 改编自课件 p.15–17:第一次阳性后,用 P(D|+) ≈ 0.0194 作为新的先验,用同一种检验再测一次,又是阳性。假设两次检验在给定患病与否时互不影响,求两次都阳性后的患病概率。
提示
(1) 只换 P(D) 和 P(H),其余照抄完整例题。(2) 只换 P(+|H)。(3) 公式不变,把 P(D) 换成 0.0194,P(H) 换成 1 − 0.0194。
判分点与答案(非官方评分标准)
判分点:① (1) 要写出 P(H) = 0.9 这一步;② (2) 要指出分母里假阳性那块变小是后验上升的原因;③ (3) 要说明「上一次的后验当这一次的先验」。
(1) 分子 0.99 × 0.1 = 0.099;分母 0.099 + 0.05 × 0.9 = 0.099 + 0.045 = 0.144;P(D|+) = 0.099 / 0.144 ≈ 0.69。先验从 0.001 升到 0.1,后验从约 2% 升到约 69%,先验对结果的影响极大。
(2) 分子仍是 0.00099;分母 0.00099 + 0.01 × 0.999 = 0.00099 + 0.00999 = 0.01098;P(D|+) = 0.00099 / 0.01098 ≈ 0.090。误报率降到五分之一,后验从约 2% 升到约 9%,仍然不高,因为先验太小。
(3) 分子 0.99 × 0.0194 = 0.019206;分母 0.019206 + 0.05 × 0.9806 = 0.019206 + 0.04903 = 0.068236;P(D|++) ≈ 0.28。第二次阳性把概率从约 2% 推到约 28%。
闪卡自测
1. 写出贝叶斯公式的完整形式,分母用的是哪个公式?
P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]。分母是全概率公式:F 和 F^c 把样本空间切成互斥两块,P(E) = P(EF) + P(EF^c)(p.15)。
2. 贝叶斯公式的推导从哪一步开始?
从同一个交集的两种拆法开始:P(EF) = P(E|F)P(F) = P(F|E)P(E),两边相等,解出 P(F|E) = P(E|F)P(F)/P(E)(p.15)。
3. 先验和后验分别对应公式里哪个量?
先验是 P(F),还没看到观测时的信念;后验是 P(F|E),看到观测 E 之后更新过的信念(p.15)。
4. 疾病检测题的已知量怎么翻译成概率式?
P(D) = 0.001,P(+|D) = 0.99,P(+|H) = 0.05,P(H) = 0.999,要求 P(D|+)(p.16)。
5. 疾病检测题的分子、分母、答案各是多少?
分子 0.99 × 0.001 = 0.00099;分母 0.00099 + 0.04995 = 0.05094;P(D|+) ≈ 0.0194,约 2%(p.17)。
6. 用人数怎么复算疾病检测题?
100000 人里患病 100 人,其中阳性 99 人;健康 99900 人,其中误报 4995 人。阳性共 5094 人,真患病 99/5094 ≈ 2%(p.17)。
7. 什么是 base rate fallacy?
判断时只看检验的灵敏度,忽略事件本身的基础率(先验)。先验极小时,假阳性的绝对数量压倒真阳性,后验远低于直觉。疾病题里假阳性约是真阳性的 50 倍(p.17)。
8. 看到什么信号就该用贝叶斯公式?
题目给的是 P(观测|原因),问的是 P(原因|观测),条件方向反了。疾病题给 P(+|D),问 P(D|+)(p.16)。
下一讲
变量一多,联合概率表会大到列不完。下一页讲链式法则怎样把联合概率拆成一串条件概率,条件独立怎样把它们剪短,以及贝叶斯信念网络里三种连接方式,见 L03a-4。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。