← DSAI5T09 全部讲次
L09a · 第 11 周

L09a 三个变量和独立:把公平写成能检查的式子

从零讲清算法公平的起点:一个决定可以写成组别 G、选择 S、真实目标 T 三个变量,每个人落在四格之一;为什么比较公平要看比例不看人数;两个极端 S = T 和 S = G;独立 A ⊥ B 的定义和检查方法;条件独立 A ⊥ B | C 怎样用共同原因读懂。

一句话版

任何「给不给」的决定都能写成三个变量:你属于哪个组(G)、机器选没选你(S)、你实际够不够格(T);各种公平定义,都是在说这三个变量之间有没有关系。

先认识这几个词

词 全称 / 读法 一句人话
G group,组别 你是谁,比如绿队或红队;和你做了什么无关
S selection,选择 机器的决定:选中记 1,没选中记 0
T target / truth,真实目标 机器想看清的真相,比如有没有才能
基率 base rate 一组里真正够格(T = 1)的人占多少
选择率 selection rate 一组里被选中(S = 1)的人占多少
独立 independence,写作 A ⊥ B 知道 A 对猜 B 没有任何帮助
条件独立 写作 A ⊥ B | C 先知道了 C,A 和 B 才互不相干

一个类比:机场安检门

机场的安检门决定拦不拦你去开箱检查。

把这件事拆开,就是三个问题:你坐的是哪家航空公司(组别)、安检门拦没拦你(选择)、你的箱子里到底有没有违禁品(真相)。

安检门拦了一个真带了违禁品的人,是拦对了;拦了一个什么都没带的人,是误拦;放过了一个带了违禁品的人,是漏网。

想知道安检门对两家航空公司公不公平,不能只数「各拦了多少人」。一家航空公司乘客多,一家少,拦的人数一样,比例可能差很远。

类比在哪里失效:

  1. 安检门拦人的规则常常写在纸上;算法模型的规则可能谁也说不清。
  2. 违禁品开箱就知道有没有;「有没有才能」这类真相,很多时候永远查不到。
  3. 航空公司是乘客自己选的;课件里的组别是「你是谁」,换不了。

从零讲起

1. 蓝色机器和三个变量

它解决什么问题

找工作、拿奖学金、申请贷款、被选去安检、判不判入狱……这些决定背后可能是一条规则、一部法律、一个模型。

讨论它们公不公平之前,先得有一套统一的说法,能把不同场景放到同一张表上比较。

直觉

课件把做决定的东西画成一个蓝色的盒子:一个人的信息 x 进去,出来一个 1 或 0。

盒子是什么不重要,可以是算法、规则、法律,也可以是大家说的「AI」。重要的是三个变量:

  • G:你属于哪个组。课件用绿队(G = 1)和红队(G = 0)。
  • S:盒子的决定。课件的例子里 S = 1 是拿到奖学金。
  • T:真相。课件里 T = 1 是有才能。

S 和 T 一交叉,每个人都落在四格之一。

选择 S 与真相 T 组成的四格:行是 T 等于 1 有才能和 T 等于 0 没才能,列是 S 等于 1 被选中和 S 等于 0 没被选,四格为真正例、假负例、假正例、真负例,真正例一格被青绿色标出;底部写按组别分开后共八种组合

一步一步看

目标:读课件的方格图,学会从格子的颜色、深浅和云朵读出每个人的 G、S、T。

课件方格图:左两列绿色是绿队,右四列红色是红队;深色格是有才能的人,浅色格是没有才能的人;一朵黑边的云盖住了底部两行,云里的人是被选中的
图片来源:DSAI5T09 LT9.pptx, p.5
  1. 读颜色,得到 G。

    颜色 G
    绿 1(绿队)
    红 0(红队)
  2. 读深浅,得到 T。深色是有才能(T = 1),浅色是没有(T = 0)。

  3. 读云朵,得到 S。在云里就是被选中(S = 1)。

  4. 三个一起读。比如「红队、有才能、拿到奖学金」写成:

    G S T 落在哪格
    0 1 1 红队的真正例

怎么判断

判断口诀:先看 S 和 T 定格子,再看 G 定是哪一组的格子。

T \ S S = 1 S = 0
T = 1 真正例 TP 假负例 FN
T = 0 假正例 FP 真负例 TN

意思是:每个人都落在这四格之一;绿队一套四格,红队一套四格,所以一共八种组合。后面所有公平定义,都是在比较这八格里的数。

常见误解

误解:G 是用来描述一个人做了什么的

课件特意写了:G 是「你是谁,不是你做了什么」。组别是天生或被分配的身份,和表现无关。

误解:S = 1 一定代表好事

S 只表示「被盒子选中」。课件的例子里,选中可以是拿到奖学金,也可以是被选去安检。好坏要看场景。

试一下

一个没有才能的绿队学生被拒了奖学金。写出 G、S、T,并说出他落在哪一格。

答案

G = 1,S = 0,T = 0,落在绿队的真负例:没才能,也没被选中,盒子判对了。

2. 数量会骗人,比例才算数

它解决什么问题

最常见的公平说法是「两组各选了一样多的人」。课件用一张表说明,这句话可能完全没有意义。

直觉

绿队 12 人,红队 24 人。两队各选 8 人。

人数一样,可绿队三个人里选了两个,红队三个人里只选了一个。

比较两组公不公平,要看比例:选中人数除以组内人数。

数量相同不等于比例相同:绿队 12 个方块里 8 个实心,比例 67%;红队 24 个方块里 8 个实心,比例 33%,红队比例被青绿色标出;合计 36 人选 16 人,整体 44%

课件还画了两个极端,帮你感受选择器可以「有用」到什么程度,也可以「偏」到什么程度:

极端 写法 意思
最有用 S = T 门只为有才能的人开,一个不漏、一个不错
最偏 S = G 门只为绿队开,组内有没有才能都不重要

一步一步看

目标:从课件的计数表一步步算出比例,看清人数和比例为什么给出不同结论。

  1. 抄下计数。

    组 人数 选中
    绿队 12 8
    红队 24 8
    合计 36 16
  2. 每一行用选中除以人数。

    组 比例
    绿队 8 ÷ 12 ≈ 67%
    红队 8 ÷ 24 ≈ 33%
    合计 16 ÷ 36 ≈ 44%
  3. 比较:人数都是 8,比例差了一倍。

怎么算

公式:选择率 = 该组被选中的人数 ÷ 该组人数。

绿队:8 ÷ 12 ≈ 67%;红队:8 ÷ 24 ≈ 33%。

意思是:只要两组人数不同,「选的人一样多」和「被选中的机会一样大」就是两回事。

常见误解

误解:两组各选一样多的人就公平

课件这一页的标题就是「数量会骗人,比例才说真话」。人数不同的两组,各选 8 人,被选中的机会可以差一倍。

误解:S = G 这种选法很少见,不用担心

纯按组选在现实里不一定直接写出来,但它是用来对照的端点:一个选择器越接近 S = G,越说明组别在替它做决定。

试一下

绿队 10 人选 5 人,红队 40 人选 10 人。哪队被选中的机会大?

答案

绿队 5 ÷ 10 = 50%,红队 10 ÷ 40 = 25%,绿队机会大一倍,尽管红队选中的人数更多。

3. 独立:组别不改变机会

它解决什么问题

「比例一样」需要一个精确的数学说法,后面六种公平定义都建立在它上面。这个说法就是独立。

直觉

课件给了三种读法:A 和 B 没有关系;A 和 B 互不影响;知道 A 对猜 B 没有任何帮助。

画面是 Alice 和 Bob 各抛一枚自己的硬币。Alice 抛出正面,你对 Bob 的结果还是一无所知。两枚硬币,两只手,互不相干。

定义写成:

Pr(A = a) × Pr(B = b) = Pr(A = a 且 B = b)

放到公平上,S ⊥ G 就是:组别不改变被选中的机会,各组的选择率相同。

独立与不独立的选择:两组各 12 人;左框绿队 8 / 12 即 67%、红队 4 / 12 即 33%,标为不独立;右框两队都是 6 / 12 即 50%,标为独立,右框被青绿色标出

一步一步看

目标:按课件的两组例子,判断选择和组别是否独立。

  1. 课件为了看清逻辑,让两组人数相同,各 12 人。

  2. 第一种选法:绿队选 8 人,红队选 4 人。

    组 比例 结论
    绿队 8 ÷ 12 ≈ 67% 比例不等
    红队 4 ÷ 12 ≈ 33% 不独立
  3. 第二种选法:两队各选 6 人。

    组 比例 结论
    绿队 6 ÷ 12 = 50% 比例相等
    红队 6 ÷ 12 = 50% 独立

怎么判断

判断口诀:比例相等就是独立;人数相等不是检验标准。

看到的 能下的结论
各组选择率相同 S ⊥ G 成立
各组选择率不同 S ⊥ G 不成立
各组选中人数相同 什么也说明不了,还要除以组的大小

意思是:课件这页只用了两组同样大的例子,所以人数相等时比例也相等;组大小不同时,一定要回到比例。

常见误解

误解:独立就是两件事数量一样多

课件写得很明白:比例相等才是独立,人数相等不是检验标准。

误解:S ⊥ G 成立就说明选择器很好

S ⊥ G 只说组别不影响机会。它完全没提 T:一个随手乱选的选择器,只要各组比例相同,也满足 S ⊥ G。

试一下

绿队 20 人选 5 人,红队 40 人选 10 人。S ⊥ G 成立吗?

答案

成立。绿队 5 ÷ 20 = 25%,红队 10 ÷ 40 = 25%,比例相同。人数不同不影响结论。

4. 条件独立:知道了共同原因之后

它解决什么问题

有时两件事看起来相关,其实是被同一个原因带着走。后半讲的三种公平定义都要「先固定一个变量,再看另外两个独立不独立」,这就是条件独立。

直觉

课件的例子:Claire 口袋里有两枚偏的硬币,一枚 90% 出反面,一枚 80% 出正面。她挑出一枚,Alice 抛一次,Bob 再抛同一枚。

你不知道是哪一枚时,Alice 抛出正面,你会猜这多半是那枚偏正面的硬币,于是猜 Bob 也更可能出正面。两人的结果看起来相关。

一旦知道了 Claire 挑的是哪一枚,Alice 的结果对猜 Bob 就再没有帮助。两人只是各抛各的。

写成 A ⊥ B | C:在知道 C 之后,A 和 B 独立。C 是那个让 A 和 B 看起来一起变化的共同事实。

Claire 的偏硬币与条件独立:顶部青绿色框写 C,Claire 挑了哪一枚,一枚 90% 反面、一枚 80% 正面;箭头指向 A Alice 抛和 B Bob 抛同一枚,两者之间的虚线写着看起来相关;底部两行说明不知道是哪枚时相关、知道后互不提供信息

一步一步看

目标:用两枚硬币的例子,一步步分清「看起来相关」和「给定 C 后独立」。

  1. 不知道 C:只看到 Alice 出正面。

    你会怎么想 对 Bob 的猜测
    多半是偏正面的那枚 Bob 也更可能出正面
  2. 知道 C 是偏正面的那枚。

    Alice 出什么 对 Bob 的猜测
    正面 按这枚硬币的概率猜
    反面 还是按这枚硬币的概率猜
  3. 结论:知道 C 后,Alice 的结果不改变对 Bob 的猜测,A ⊥ B | C 成立。

怎么判断

判断口诀:先把 C 固定住,在每个 C 的取值里分别检查 A 和 B 独不独立。

写法 读法 怎么检查
A ⊥ B A 和 B 独立 直接比较
A ⊥ B | C 给定 C,A 和 B 独立 按 C 分组,每组里分别比较

意思是:后面的等几率、预测均等、分层无关,都是「按第三个变量分组后再比」的条件独立。

常见误解

误解:A 和 B 相关,就一定是 A 影响了 B

Claire 的硬币里,Alice 和 Bob 谁也没影响谁,是同一枚硬币让两人的结果一起变化。

误解:条件独立和独立是一回事

两者可以一个成立、一个不成立。硬币例子里,不给定 C 时两人相关,给定 C 后才独立。

试一下

一个城市里,冰淇淋卖得多的日子溺水的人也多。用 A ⊥ B | C 的写法说出可能的 C。

答案

C 可以是天气热不热。固定同样的气温来看,冰淇淋销量和溺水人数可能就没有关系了,即「销量 ⊥ 溺水 | 气温」。

把它们串起来

一个决定可以拆成三个变量:组别 G、选择 S、真相 T。S 和 T 交叉出四格,再按 G 分开就是八种组合。

比较各组时要看比例,课件那张表里两队各选 8 人,比例却是 67% 和 33%。

独立是比例相等的精确说法:S ⊥ G 意味着组别不改变被选中的机会。

条件独立是先固定一个变量再比,Claire 的硬币说明:知道共同原因后,原来相关的两件事可能互不相干。

下一页用这两个工具,拼出六种公平定义。

课件里的坑

  • [拼写] p.9 标题写成 MAXIMIUM BIAS,应为 MAXIMUM;p.19 标题写成 Clarie,正文是 Claire
  • [符号提醒] 全讲 G、S、T 以 p.4 为准:G 是组别(你是谁),S 是选择,T 是真实目标;后面个别页把字母写混了,答题按 p.4

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写 G、S、T 三个变量和四格的名字,再写出独立的定义式;然后对照课件 p.3–19 做课件例题;最后回查一个易错点:比较公平看比例,人数相同不算数。

必背

  1. G 是组别(你是谁),S 是选择(机器的决定),T 是真实目标(机器想看清的真相)
  2. 按 S 和 T 每个人落在四格之一:真正例、假负例、假正例、真负例;再按 G 分开共八种组合
  3. 比较各组看比例(选中人数 ÷ 组内人数),人数相同不等于比例相同:8/12 = 67% 和 8/24 = 33%
  4. S = T 是完美选择器(最有用),S = G 是纯粹按组选(最偏)
  5. 独立 A ⊥ B:Pr(A = a) × Pr(B = b) = Pr(A = a 且 B = b);S ⊥ G 就是各组被选中的比例相同
  6. 条件独立 A ⊥ B | C:不知道 C 时 A、B 看起来相关,知道 C 后互不提供信息;C 是共同原因

课件例题

例 1(课件 p.5):读一个人的三个变量

题面:一个有才能的红队学生被选中拿奖学金。写出 G、S、T 的值,并说出他在四格表里的位置。

提示

红队是 G 等于几?选中、有才能分别对应哪个变量?

解答

G = 0,S = 1,T = 1。有才能且被选中,落在红队的真正例(True positive)。

例 2(课件 p.7):数量和比例

题面:绿队 12 人选 8 人,红队 24 人选 8 人,合计 36 人选 16 人。算出各行的比例,并说明两队的待遇是否相同。

提示

比例 = 选中 ÷ 人数,三行都算。

解答

绿队约 67%,红队约 33%,合计约 44%。两队选中人数相同,被选中的机会差一倍,待遇不同。

例 3(课件 p.8–9):两个极端

题面:说明 S = T 和 S = G 各代表什么样的选择器。

提示

门为谁开?

解答

S = T:门只为有才能的人开,每个有才能的人都被选中、没有别人,是完美的预测器,最有用。S = G:门只为绿队开,组内有没有才能都不重要,是纯粹的按组偏好,最偏。

例 4(课件 p.11):独立还是不独立

题面:两组各 12 人。情形一绿队选 8 人、红队选 4 人;情形二两队各选 6 人。分别判断 S ⊥ G 是否成立。

提示

比较两组的选择率。

解答

情形一:约 67% 对约 33%,不独立。情形二:50% 对 50%,独立。判断标准是比例相等,人数相等不是标准。

例 5(课件 p.19):Claire 的硬币

题面:Claire 从两枚偏硬币(一枚 90% 反面,一枚 80% 正面)里挑一枚,Alice 和 Bob 先后抛同一枚。两人的结果独立吗?什么时候变成独立?

提示

不知道是哪枚时,Alice 的结果透露了什么?

解答

不知道是哪枚时,两人的结果相关:Alice 的结果透露了硬币是哪枚,进而影响对 Bob 的猜测。知道 Claire 挑的是哪枚之后,两人独立,即 A ⊥ B | C,C 是所挑的硬币。

完整例题

题目:一家公司用模型筛选实习生。A 学院 30 人申请,选中 12 人;B 学院 60 人申请,也选中 12 人。HR 说:「两边都录了 12 个,很公平。」请用本页内容分析,并说明还缺什么信息才能判断模型选得好不好。

① 写变量。G 是学院(A 或 B),S 是是否被选中,T 是是否真的胜任。

② 算比例。A 学院 12 ÷ 30 = 40%,B 学院 12 ÷ 60 = 20%。人数相同,比例差一倍。

③ 判断独立。两组选择率不同,S ⊥ G 不成立,组别和被选中的机会有关。

④ 指出还缺什么。这里只有 S 和 G,没有 T。不知道两个学院各有多少人真正胜任,就判断不了模型是选对了人,还是只是偏向 A 学院。

⑤ 结论。HR 的说法用人数代替了比例,站不住;要评价模型,还要数出每组的四格。

变式题(先自己做)

自编情境:一个城市随机抽查车辆。本地车 500 辆抽查 50 辆,外地车 100 辆抽查 10 辆。另一天,本地车 500 辆抽查 25 辆,外地车 100 辆抽查 25 辆。分别判断两天的抽查是否与「本地 / 外地」独立。

提示

每天分别算两组的抽查比例,再比较。

判分点与答案(非官方评分标准)

第一天:本地 50 ÷ 500 = 10%,外地 10 ÷ 100 = 10%,比例相同,独立。

第二天:本地 25 ÷ 500 = 5%,外地 25 ÷ 100 = 25%,比例不同,不独立。两组抽查数量相同,恰好说明人数相等不能当检验标准。

判分点:两天四个比例算对;用比例而非人数下结论;指出第二天人数相同但不独立。

闪卡自测

1. G、S、T 分别是什么?

组别、选择、真实目标(p.4)。

2. 课件说 G 描述的是什么?

你是谁,不是你做了什么(p.4)。

3. T = 1、S = 0 落在哪格?

假负例 FN:有才能却没被选(p.5)。

4. 按 G、S、T 一共几种组合?

八种,每组四种(p.6)。

5. 绿队 12 人选 8、红队 24 人选 8,比例各多少?

约 67% 和约 33%(p.7)。

6. 最有用和最偏的选择器各怎么写?

S = T 和 S = G(p.8–9)。

7. 独立的定义式?

Pr(A = a) × Pr(B = b) = Pr(A = a 且 B = b)(p.10)。

8. 判断独立看什么,不看什么?

看比例是否相等,不看人数(p.11)。

9. 条件独立里的 C 是什么?

让 A 和 B 看起来一起变化的共同事实(p.18)。

下一讲

下一页 L09b 用独立和条件独立拼出公平六件套:人口均等、人人平等、目标无关、等几率、预测均等、分层无关。回到 课程目录 可以按讲次复习。

下一讲 →
L09b L09b 公平六件套:六种把公平写成独立的方法

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。