L09c 公平定义的冲突:基率不同时只能挑一条
从零讲清课件的冲突部分:人口均等和等几率两个方向都推不出,命题 1 说两者同时成立就只剩基率相等或选择器无用,命题 2 说人口均等加预测均等会推出基率相等,最后用同一个招聘池算出六问表,并订正课件印错的一格。
一句话版
两组真正够格的比例不同、选择器又真的在看才能时,六条公平定义不能同时成立;要哪一条,是一个要公开说明的选择。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 基率 | base rate | 一组里真正够格的比例 |
| 选择率 | selection rate | 一组里被选中的比例 |
| 命题 1 | Pick TWO, Get a Catch | 人口均等加等几率,要付代价 |
| 命题 2 | The Calibration Trap | 人口均等加预测均等,要求基率相等 |
| 构成 | composition | 组间差距来自各组人员组成不同 |
| ∧ / ∨ / ⇒ | 且 / 或 / 推出 | 命题里的三个逻辑符号 |
一个类比:一张只能挑一个的点菜单
一家餐厅的套餐写着:便宜、好吃、上菜快,三选二。
客人想三样都要,厨房做不到,这不是厨师偷懒,是食材、人手、时间之间的硬约束。
公平定义也有类似的约束。两组基率不同、选择器又真的在看才能时,几条定义互相掣肘,课件最后一页的标题就叫 You Can Have ONE!
类比在哪里失效:
- 餐厅的三选二是经验说法;公平定义之间的冲突是能写成式子证明的。
- 公平定义的冲突有例外:基率本来相等,或者选择器根本不看才能,几条就能同时成立。
- 点菜是个人口味;选公平定义牵涉别人的机会,课件要求公开说明并接受辩论。
从零讲起
1. 人口均等和等几率:两个方向都推不出
它解决什么问题
课件提了三个问题:人口均等能推出等几率吗?等几率能推出人口均等吗?再加上预测均等会怎样?前两个问题,用同一个池子各画一个反例就能回答。
直觉
池子是:绿队 12 人,其中 8 人有才能;红队 24 人,其中也是 8 人有才能。两队基率不同:绿队 67%,红队 33%。
第一种选法:只选全部有才能的人。两队的 TPR 都是 100%,FPR 都是 0%,等几率成立;可绿队选中 67%,红队选中 33%,人口均等不成立。
第二种选法:两队都选一半。人口均等成立;为了凑出一半,选择器在绿队拒掉了有才能的人,在红队收下了没才能的人,等几率不成立。
课件对第二种选法的说法是:要让份额相等,选择器必须在两队犯方向相反的错误。
一步一步看
目标:数课件两张方格图,算出两种选法下的选择率、TPR、FPR。
-
第一种选法:只选有才能的人。
组 选中 选择率 TPR FPR 绿队 8 67% 100% 0% 红队 8 33% 100% 0%
-
第二种选法:两队都选一半。
组 选中 选择率 TPR FPR 绿队 6 50% 75% 0% 红队 12 50% 100% 25% -
结论:第一种选法有等几率没人口均等,第二种相反,两个方向都推不出。
怎么判断
判断口诀:要证明 A 推不出 B,找一个 A 成立、B 不成立的反例就够了。
| 问题 | 反例 | 结论 |
|---|---|---|
| 等几率推出人口均等? | 第一种选法 | 推不出 |
| 人口均等推出等几率? | 第二种选法 | 推不出 |
意思是:两条定义各管一件事,满足一条,对另一条没有任何保证。
课件还用另一个池子画了一遍:红队 24 人里只有 4 人有才能。
两队各只选一部分有才能的人时,TPR 都是 25%,选择率却是约 17% 对约 4%。把红队 4 个有才能的全选上,选择率都约 17%,TPR 变成 25% 对 100%。结论相同。
常见误解
误解:等几率是更严格的公平,满足它自然也满足人口均等
第一种选法已经否定了这一点:完美选择器满足等几率,但两队选择率是 67% 对 33%。基率不同时,同样的对待会产生不同的总数。
误解:第二种选法只是让红队多了几个人,没有伤害谁
它在绿队拒掉了 2 个有才能的人,在红队收下了 4 个没才能的人。课件强调这是方向相反的错误,等几率因此不成立。
试一下
用第一种选法的池子,改成两队都只选有才能的人中的一半。人口均等和等几率各自成立吗?
答案
绿队选 4 人、红队选 4 人。TPR 都是 4 ÷ 8 = 50%,FPR 都是 0,等几率成立;选择率 4 ÷ 12 ≈ 33% 对 4 ÷ 24 ≈ 17%,人口均等不成立。
2. 命题 1:人口均等加等几率,要付代价
它解决什么问题
上一节说明两条定义互相推不出。命题 1 更进一步:如果硬要两条同时成立,现实或选择器必须满足什么条件?
从哪来(补充)
《Fairness and Machine Learning》一书把人口均等归为 independence,等几率归为 separation。书中给出命题:目标为二元、敏感属性和预测都与目标不独立时,两者不能同时成立。书中还说,同时强加任意两条准则,只会剩下退化情形。出处:Fairness and Machine Learning, Classification。
直觉
命题 1 的式子是:S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T。
读出来:人口均等和等几率同时成立,那么要么各组基率本来就相等,要么选择器完全不看才能。
课件的标题是 Pick TWO, Get a Catch:两个都要,就得接受一个代价。
课件用招聘官 Dana 演示:她只问一个问题,有没有理工大学学位。她承诺两件事:学位在每组一样常见(人口均等),学位在每组一样好用(等几率)。按命题 1,两个承诺都兑现时,只剩两种可能。
一步一步看
目标:用一个式子看清命题 1 为什么成立。
-
设有才能的人被选中的概率是 p1,其余人是 p0。等几率保证这两个数在各组相同。
-
某组选择率由两部分组成。
部分 人数比例 被选中的概率 有才能的人 基率 p1 其余的人 1 − 基率 p0 -
合起来,某组选择率 = p0 + (p1 − p0) × 该组基率。
-
人口均等要求各组选择率相等。p1、p0 各组相同,所以只有两条路:p1 = p0(选择器不看才能,S⊥T),或各组基率相等(T⊥G)。
怎么算
某组选择率 = p0 + (p1 − p0) × 基率
意思是:选择器越有用,p1 和 p0 差得越远,基率的差异就越会放大成选择率的差异。
| 情形 | p1 和 p0 | 基率 | 人口均等加等几率 |
|---|---|---|---|
| 选择器有用 | 不等 | 不等 | 不能同时成立 |
| 选择器不看才能 | 相等 | 不等 | 可以 |
| 现实基率相同 | 不等 | 相等 | 可以 |
常见误解
误解:命题 1 说人口均等和等几率永远不能共存
命题给了两个出口:基率本来相等,或者选择器不看才能。只是在基率不同、选择器又有用的常见情形里,两条不能同时成立。
误解:Dana 的两个承诺都很合理,所以一定能兑现
每个承诺单独看都合理。命题 1 说的是两个一起:要么三组表现好的比例本来相同,要么学位和表现无关。后者意味着这个问题白问了。
试一下
一个选择器有才能的人被选中的概率是 0.8,其余人是 0.2。A 组基率 0.5,B 组基率 0.25。两组选择率各是多少?
答案
A 组 0.2 + 0.6 × 0.5 = 0.5,B 组 0.2 + 0.6 × 0.25 = 0.35。等几率成立,人口均等不成立,符合命题 1。
3. 命题 2:人口均等加预测均等,推出基率相等
它解决什么问题
第三个问题:人口均等之外再要预测均等,会怎样?命题 2 回答:现实里各组基率必须相等。
从哪来(补充)
Kleinberg、Mullainathan、Raghavan 2016 年的论文研究风险评分的公平。摘要说,除高度受限的特殊情形外,没有方法能同时满足他们提出的三个公平条件。出处:Inherent Trade-Offs in the Fair Determination of Risk Scores, arXiv 1609.05807。
直觉
命题 2 的式子是:S⊥G ∧ T⊥G|S ⇒ T⊥G。
课件叫它 The Calibration Trap。如果基率真的不同,相等的结果和相等的校准不能共存,必须放弃其中一个。
反过来用也很有用。课件后面一页里,Dana 发现 A 组表现好的比例是 58%,B 组是 42%,差 16 个点。她检查两个嫌疑:学位在两组一样常见吗?同一学位层内表现一样吗?
第一项不通过:A 组持学位 70%,B 组 30%。第二项通过:有学位的人里两组都是 70% 表现好,没学位的都是 30%。
差距全部来自构成:A 组有学位的人更多。
一步一步看
目标:用构成公式算出 A、B 两组的整体表现,解释 16 个点的差距。
-
写出公式:某组基率 = q1 × s + q0 × (1 − s)。q1 是有学位者里表现好的比例,q0 是无学位者里的,s 是该组持学位的比例。
-
代入两组数据。
组 s q1 q0 基率 A 0.7 70% 30% 58% B 0.3 70% 30% 42% -
算式:A 组 0.7 × 70% + 0.3 × 30% = 0.49 + 0.09 = 58%。B 组 0.3 × 70% + 0.7 × 30% = 0.21 + 0.21 = 42%。
-
结论:同一学位层内表现一样,持学位比例不同,整体就差 16 个点。
怎么算
某组基率 = q1 × s + q0 × (1 − s)
意思是:预测均等保证 q1、q0 各组相同,人口均等保证 s 各组相同,代进去各组基率只能相同;基率不同时,两条之中必有一条不成立。
常见误解
误解:两组整体比例不同,就说明某一组在同等条件下表现差
Dana 的例子里,同一学位层内两组完全一样。58% 对 42% 的差距全部来自持学位比例不同,这就是构成效应。
误解:既然差距是真的,Dana 的两项检查里必有一项算错了
课件里 Dana 就是这么想的。两项检查都没错:第一项不通过,第二项通过,合起来正好解释差距。
试一下
C 组持学位比例 0.5,学位层内表现和 A、B 相同。C 组整体表现好的比例是多少?
答案
0.5 × 70% + 0.5 × 30% = 50%。
4. 同一个池子,六个答案
它解决什么问题
前面几节一次只比两条定义。课件最后把六条一起放到同一个招聘池上,看哪些通过。
直觉
池子仍是绿队 12 人、红队 24 人,两队都有 8 人有才能。这次选法是:绿队选 6 人,全是有才能的;红队选 12 人,有才能和没才能各 6 人。
两队选择率都是 50%,人口均等完美;两队基率是 67% 对 33%,不相等。
注意:这个选法和第一节的第二种选法都是绿队选 6、红队选 12,但红队选中的人不同,两页别混。
课件的结论是:只有人口均等通过。
一步一步看
目标:从课件的计数表出发,逐条判断六条定义。
-
先读计数表。
组 人数 有才能 选中 TP FP FN TN 绿队 12 8 6 6 0 2 4 红队 24 8 12 6 6 2 10 -
逐条算比例,得到六问表。
- 结论:六条里只有人口均等通过。
怎么判断
判断口诀:基率不同、选择器有用,六条定义不能同时成立,只能挑一条并说明理由。
| 定义 | 本池子 | 判定 |
|---|---|---|
| 人口均等 | 50% 对 50% | 通过 |
| 人人平等 | 67% 对 33% | 不通过 |
| 目标无关 | 有才能 75%,没才能 30% | 不通过 |
| 等几率 | TPR 75% 对 75%,FPR 0% 对 37.5% | 不通过 |
| 预测均等 | PPV 100% 对 50% | 不通过 |
| 分层无关 | 组内不是抽签 | 不通过 |
意思是:课件下一页的标题 You Can Have ONE! 就是这张表的结论。接下来要挑一条符合价值观的定义,然后公开为这个选择辩护。
常见误解
误解:等几率不通过,是因为两队的 TPR 不同
课件这一格印成 100/0 对 75/37.5,按计数表绿队 TPR 是 6 ÷ 8 = 75%,和红队相同。等几率不通过的原因只在 FPR:0% 对 37.5%。
误解:人人平等不通过,是因为选择器有用
基率 67% 对 33% 是池子本身的情况,和选择器怎么选无关。课件结论那句话把这一条也算进了「因为选择器有用」,读的时候要分开。
试一下
如果把红队的 6 个没才能的被选中者换成另外 2 个有才能的人和 4 个没才能的人,等几率会成立吗?
答案
红队 TP 8、FP 4,TPR 100%,FPR 4 ÷ 16 = 25%;绿队 TPR 75%、FPR 0%。仍不成立,这正是第一节的第二种选法。
把它们串起来
人口均等和等几率各管一件事,课件用同一个池子各画一个反例,证明两个方向都推不出。
命题 1 说,硬要两条同时成立,只剩基率本来相等或选择器不看才能;命题 2 说,人口均等加预测均等,必然推出基率相等。Dana 的例子反过来用了命题 2 的公式:同一学位层内表现一样,持学位比例不同,整体差距就来自构成。
把六条放到同一个池子上,只有人口均等通过。基率不同、选择器有用时,六条只能挑一条。
课件里的坑
- [课件错误] p.34 等几率一行印「100/0 vs 75/37.5」→ 按 p.33 的表,绿队 TPR = 6/8 = 75%,应为「75/0 vs 75/37.5」。判定不通过不变,但原因只在 FPR(0% vs 37.5%)
- [课件错误] p.32 第二项检查的表格行标签印 Strong (T = 1) / Not strong (T = 0) → 这项检查的是 T⊥G|S,行标签应为 Degree (S = 1) / No degree (S = 0),表里 70% / 30% 是有学位者和无学位者里表现好的比例
- [读图提醒] p.28 两张小方格图的池子和 p.26–27 不同:红队 24 人里只有 4 人有才能,课件没标出,按格子数
- [读图提醒] p.27 和 p.33 都是绿队选 6、红队选 12,但红队选中的人不同:p.27 红队 TP 8、FP 4,p.33 红队 TP 6、FP 6
- [说法提醒] p.34 结论说选择器有用,所以其余五条不通过;其中人人平等不通过是池子本身如此(67% vs 33%),和选择器无关
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写命题 1 和命题 2 的式子,各用一句话解释;再拿 p.33 的计数表自己算一遍六问表,找出课件印错的那一格;最后用 Dana 的数字复算一次构成公式。
必背
- 人口均等推不出等几率,等几率也推不出人口均等,课件用同一个池子各画一个反例
- 命题 1:S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T,人口均等加等几率,只剩基率本来相等或选择器不看才能
- 命题 2:S⊥G ∧ T⊥G|S ⇒ T⊥G,人口均等加预测均等,必然推出基率相等
- 组间差距可以完全来自构成:每个学位层内表现一样,持学位比例不同,整体比例就不同
- 同一个池子:只有人口均等通过,其余五条都不通过;基率不同且选择器有用时,六条不能同时成立
- 课件 p.34 等几率一格应为 75/0 vs 75/37.5,判定仍是不通过,原因只在 FPR
课件例题
例 1(课件 p.25):三个问题
题面:Q1 人口均等能推出等几率吗?Q2 等几率能推出人口均等吗?Q3 再要求预测均等会怎样?
提示
Q1、Q2 找反例;Q3 看命题 2。
解答
Q1 不能,p.27 的选法人口均等成立、等几率不成立。Q2 不能,p.26 的选法等几率成立、人口均等不成立。Q3 人口均等加预测均等推出基率相等;基率真的不同时,两者只能留一个。
例 2(课件 p.26):只选有才能的人
题面:绿队 12 人有才能 8 人,红队 24 人有才能 8 人,只选全部有才能的人。算 TPR、FPR、选择率,判断两条定义。
提示
完美选择器。
解答
TPR 两组都是 100%,FPR 都是 0%,等几率成立;选择率 8/12 = 67% 对 8/24 = 33%,人口均等不成立。基率不同时,同样的对待产生不同的总数。
例 3(课件 p.27):两队都选一半
题面:同一池子,绿队选 6 个有才能的,红队选 8 个有才能的加 4 个没才能的。判断两条定义,说明选择器犯了什么错。
提示
两队的错误方向。
解答
选择率都是 50%,人口均等成立;TPR 75% 对 100%,FPR 0% 对 25%,等几率不成立。选择器在绿队拒掉有才能的人,在红队收下没才能的人,两队的错误方向相反。
例 4(课件 p.28):换一个池子
题面:绿队 12 人有才能 8 人,红队 24 人只有 4 人有才能。左图选绿队 2 人、红队 1 人(都有才能);右图选绿队 2 人、红队 4 人(都有才能)。各判断两条定义。
提示
先按格子数确认红队有才能的人数。
解答
左图:TPR 2/8 = 25% 对 1/4 = 25%,FPR 都是 0%,等几率成立;选择率约 17% 对约 4%,人口均等不成立。右图:选择率 2/12 和 4/24 都约 17%,人口均等成立;TPR 25% 对 100%,等几率不成立。两个方向都推不出。
例 5(课件 p.30):Dana 的两个承诺
题面:Dana 只问学位,承诺学位在每组一样常见、一样好用。按命题 1,两个承诺都兑现时,还剩哪两种可能?
提示
命题 1 右边的两项。
解答
选项一:T⊥G,各组表现好的比例本来相同。选项二:S⊥T,学位和表现无关(p1 = p0),这个问题等于白问。
例 6(课件 p.32):两个嫌疑人
题面:A 组持学位 70%,B 组 30%;两组有学位者里都是 70% 表现好,无学位者里都是 30%。算两组整体表现好的比例,说明差距从哪来。
提示
构成公式。
解答
A 组 0.7 × 70% + 0.3 × 30% = 58%,B 组 0.3 × 70% + 0.7 × 30% = 42%,差 16 个点。第一项检查(S⊥G)不通过,第二项(T⊥G|S)通过,差距全部来自构成:A 组持学位的人更多。
例 7(课件 p.33–34):六问表
题面:按 p.33 的计数表,逐条判断六条定义,指出课件印错的一格。
提示
等几率要分组分层算 TPR 和 FPR。
解答
人口均等 50% 对 50% 通过;人人平等 67% 对 33% 不通过;目标无关 12/16 = 75% 对 6/20 = 30% 不通过;等几率绿队 TPR 6/8 = 75%、FPR 0/4 = 0%,红队 TPR 6/8 = 75%、FPR 6/16 = 37.5%,不通过;预测均等 6/6 = 100% 对 6/12 = 50% 不通过;分层无关组内不是抽签,不通过。课件把等几率印成 100/0 vs 75/37.5,应为 75/0 vs 75/37.5。
完整例题
题目:一个奖学金评审池:甲组 20 人,其中 10 人优秀;乙组 40 人,其中 10 人优秀。评审选中甲组 8 人(全部优秀)、乙组 16 人(优秀 8 人、不优秀 8 人)。逐条判断人口均等、人人平等、等几率、预测均等,并说明结果是否符合命题 1、命题 2。
① 四格。甲组 TP 8、FP 0、FN 2、TN 10;乙组 TP 8、FP 8、FN 2、TN 22。
② 人口均等。8 ÷ 20 = 40%,16 ÷ 40 = 40%,成立。
③ 人人平等。10 ÷ 20 = 50%,10 ÷ 40 = 25%,不成立。
④ 等几率。TPR 8 ÷ 10 = 80% 和 8 ÷ 10 = 80%;FPR 0 ÷ 10 = 0% 和 8 ÷ 30 ≈ 26.7%,不成立。
⑤ 预测均等。PPV 8 ÷ 8 = 100% 和 8 ÷ 16 = 50%,不成立。
⑥ 对照命题。基率不同、选择器看才能,人口均等成立时,等几率和预测均等都不成立,符合两个命题。
变式题(先自己做)
自编情境:一家公司对两组候选人用同一个测验。X 组 50 人,通过测验 25 人;Y 组 50 人,通过测验 25 人。通过者里 X 组 20 人表现好,Y 组 20 人表现好;未通过者里两组都是 5 人表现好。判断人口均等、预测均等,并算两组基率,检查是否符合命题 2。
提示
用构成公式算基率。
判分点与答案(非官方评分标准)
人口均等:25 ÷ 50 = 50%,两组相同,成立。
预测均等:通过者里表现好 20 ÷ 25 = 80%,两组相同,成立;未通过者里 5 ÷ 25 = 20%,也相同。
基率:0.5 × 80% + 0.5 × 20% = 50%,两组相同。
判分点:两条定义判断正确;用构成公式算出基率;指出这符合命题 2,两条同时成立时基率必然相等。
闪卡自测
1. p.25 的三个问题?
人口均等推等几率?等几率推人口均等?再加预测均等会怎样?(p.25)
2. p.26 选法的选择率?
67% 对 33%,等几率成立、人口均等不成立(p.26)。
3. p.27 选法的 TPR 和 FPR?
TPR 75% 对 100%,FPR 0% 对 25%(p.27)。
4. 命题 1 的式子?
S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T(p.29)。
5. 命题 2 的式子?
S⊥G ∧ T⊥G|S ⇒ T⊥G(p.31)。
6. Dana 例子里 A、B 两组整体表现?
58% 对 42%,差 16 个点(p.32)。
7. 差距来自哪里?
构成:A 组持学位的人更多,学位层内表现相同(p.32)。
8. 同一池子里哪条定义通过?
只有人口均等(p.34)。
9. 等几率那格应该是什么?
75/0 vs 75/37.5(p.34)。
10. p.35 的标题?
You Can Have ONE!(p.35)。
下一讲
下一页 L09d 讲接下来怎么办:不可能结果为什么正常、去掉组别为什么不管用、按场景选定义、把取舍公开、六步审计。回到 课程目录 可以按讲次复习。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。