← DSAI5T09 全部讲次
L09c · 第 11 周

L09c 公平定义的冲突:基率不同时只能挑一条

从零讲清课件的冲突部分:人口均等和等几率两个方向都推不出,命题 1 说两者同时成立就只剩基率相等或选择器无用,命题 2 说人口均等加预测均等会推出基率相等,最后用同一个招聘池算出六问表,并订正课件印错的一格。

一句话版

两组真正够格的比例不同、选择器又真的在看才能时,六条公平定义不能同时成立;要哪一条,是一个要公开说明的选择。

先认识这几个词

词 全称 / 读法 一句人话
基率 base rate 一组里真正够格的比例
选择率 selection rate 一组里被选中的比例
命题 1 Pick TWO, Get a Catch 人口均等加等几率,要付代价
命题 2 The Calibration Trap 人口均等加预测均等,要求基率相等
构成 composition 组间差距来自各组人员组成不同
∧ / ∨ / ⇒ 且 / 或 / 推出 命题里的三个逻辑符号

一个类比:一张只能挑一个的点菜单

一家餐厅的套餐写着:便宜、好吃、上菜快,三选二。

客人想三样都要,厨房做不到,这不是厨师偷懒,是食材、人手、时间之间的硬约束。

公平定义也有类似的约束。两组基率不同、选择器又真的在看才能时,几条定义互相掣肘,课件最后一页的标题就叫 You Can Have ONE!

类比在哪里失效:

  1. 餐厅的三选二是经验说法;公平定义之间的冲突是能写成式子证明的。
  2. 公平定义的冲突有例外:基率本来相等,或者选择器根本不看才能,几条就能同时成立。
  3. 点菜是个人口味;选公平定义牵涉别人的机会,课件要求公开说明并接受辩论。

从零讲起

1. 人口均等和等几率:两个方向都推不出

它解决什么问题

课件提了三个问题:人口均等能推出等几率吗?等几率能推出人口均等吗?再加上预测均等会怎样?前两个问题,用同一个池子各画一个反例就能回答。

直觉

池子是:绿队 12 人,其中 8 人有才能;红队 24 人,其中也是 8 人有才能。两队基率不同:绿队 67%,红队 33%。

第一种选法:只选全部有才能的人。两队的 TPR 都是 100%,FPR 都是 0%,等几率成立;可绿队选中 67%,红队选中 33%,人口均等不成立。

第二种选法:两队都选一半。人口均等成立;为了凑出一半,选择器在绿队拒掉了有才能的人,在红队收下了没才能的人,等几率不成立。

课件对第二种选法的说法是:要让份额相等,选择器必须在两队犯方向相反的错误。

一步一步看

目标:数课件两张方格图,算出两种选法下的选择率、TPR、FPR。

课件方格图:绿队 12 人红队 24 人,黑框只框住有才能的人,绿队选中 8 人红队选中 8 人,注明两组 TPR 都是 100%、FPR 都是 0%,等几率成立人口均等不成立
图片来源:DSAI5T09 LT9.pptx, p.26
  1. 第一种选法:只选有才能的人。

    组 选中 选择率 TPR FPR
    绿队 8 67% 100% 0%
    红队 8 33% 100% 0%
课件方格图:同一个池子,绿队选中 6 个有才能的人,红队选中全部 8 个有才能的人和 4 个没才能的人,两队选择率都是 50%,人口均等成立等几率不成立
图片来源:DSAI5T09 LT9.pptx, p.27
  1. 第二种选法:两队都选一半。

    组 选中 选择率 TPR FPR
    绿队 6 50% 75% 0%
    红队 12 50% 100% 25%
  2. 结论:第一种选法有等几率没人口均等,第二种相反,两个方向都推不出。

怎么判断

判断口诀:要证明 A 推不出 B,找一个 A 成立、B 不成立的反例就够了。

问题 反例 结论
等几率推出人口均等? 第一种选法 推不出
人口均等推出等几率? 第二种选法 推不出

意思是:两条定义各管一件事,满足一条,对另一条没有任何保证。

课件还用另一个池子画了一遍:红队 24 人里只有 4 人有才能。

两队各只选一部分有才能的人时,TPR 都是 25%,选择率却是约 17% 对约 4%。把红队 4 个有才能的全选上,选择率都约 17%,TPR 变成 25% 对 100%。结论相同。

常见误解

误解:等几率是更严格的公平,满足它自然也满足人口均等

第一种选法已经否定了这一点:完美选择器满足等几率,但两队选择率是 67% 对 33%。基率不同时,同样的对待会产生不同的总数。

误解:第二种选法只是让红队多了几个人,没有伤害谁

它在绿队拒掉了 2 个有才能的人,在红队收下了 4 个没才能的人。课件强调这是方向相反的错误,等几率因此不成立。

试一下

用第一种选法的池子,改成两队都只选有才能的人中的一半。人口均等和等几率各自成立吗?

答案

绿队选 4 人、红队选 4 人。TPR 都是 4 ÷ 8 = 50%,FPR 都是 0,等几率成立;选择率 4 ÷ 12 ≈ 33% 对 4 ÷ 24 ≈ 17%,人口均等不成立。

2. 命题 1:人口均等加等几率,要付代价

它解决什么问题

上一节说明两条定义互相推不出。命题 1 更进一步:如果硬要两条同时成立,现实或选择器必须满足什么条件?

从哪来(补充)

《Fairness and Machine Learning》一书把人口均等归为 independence,等几率归为 separation。书中给出命题:目标为二元、敏感属性和预测都与目标不独立时,两者不能同时成立。书中还说,同时强加任意两条准则,只会剩下退化情形。出处:Fairness and Machine Learning, Classification。

直觉

命题 1 的式子是:S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T。

读出来:人口均等和等几率同时成立,那么要么各组基率本来就相等,要么选择器完全不看才能。

课件的标题是 Pick TWO, Get a Catch:两个都要,就得接受一个代价。

课件用招聘官 Dana 演示:她只问一个问题,有没有理工大学学位。她承诺两件事:学位在每组一样常见(人口均等),学位在每组一样好用(等几率)。按命题 1,两个承诺都兑现时,只剩两种可能。

一步一步看

目标:用一个式子看清命题 1 为什么成立。

  1. 设有才能的人被选中的概率是 p1,其余人是 p0。等几率保证这两个数在各组相同。

  2. 某组选择率由两部分组成。

    部分 人数比例 被选中的概率
    有才能的人 基率 p1
    其余的人 1 − 基率 p0
  3. 合起来,某组选择率 = p0 + (p1 − p0) × 该组基率。

  4. 人口均等要求各组选择率相等。p1、p0 各组相同,所以只有两条路:p1 = p0(选择器不看才能,S⊥T),或各组基率相等(T⊥G)。

怎么算

某组选择率 = p0 + (p1 − p0) × 基率

意思是:选择器越有用,p1 和 p0 差得越远,基率的差异就越会放大成选择率的差异。

情形 p1 和 p0 基率 人口均等加等几率
选择器有用 不等 不等 不能同时成立
选择器不看才能 相等 不等 可以
现实基率相同 不等 相等 可以

常见误解

误解:命题 1 说人口均等和等几率永远不能共存

命题给了两个出口:基率本来相等,或者选择器不看才能。只是在基率不同、选择器又有用的常见情形里,两条不能同时成立。

误解:Dana 的两个承诺都很合理,所以一定能兑现

每个承诺单独看都合理。命题 1 说的是两个一起:要么三组表现好的比例本来相同,要么学位和表现无关。后者意味着这个问题白问了。

试一下

一个选择器有才能的人被选中的概率是 0.8,其余人是 0.2。A 组基率 0.5,B 组基率 0.25。两组选择率各是多少?

答案

A 组 0.2 + 0.6 × 0.5 = 0.5,B 组 0.2 + 0.6 × 0.25 = 0.35。等几率成立,人口均等不成立,符合命题 1。

3. 命题 2:人口均等加预测均等,推出基率相等

它解决什么问题

第三个问题:人口均等之外再要预测均等,会怎样?命题 2 回答:现实里各组基率必须相等。

从哪来(补充)

Kleinberg、Mullainathan、Raghavan 2016 年的论文研究风险评分的公平。摘要说,除高度受限的特殊情形外,没有方法能同时满足他们提出的三个公平条件。出处:Inherent Trade-Offs in the Fair Determination of Risk Scores, arXiv 1609.05807。

直觉

命题 2 的式子是:S⊥G ∧ T⊥G|S ⇒ T⊥G。

课件叫它 The Calibration Trap。如果基率真的不同,相等的结果和相等的校准不能共存,必须放弃其中一个。

反过来用也很有用。课件后面一页里,Dana 发现 A 组表现好的比例是 58%,B 组是 42%,差 16 个点。她检查两个嫌疑:学位在两组一样常见吗?同一学位层内表现一样吗?

第一项不通过:A 组持学位 70%,B 组 30%。第二项通过:有学位的人里两组都是 70% 表现好,没学位的都是 30%。

差距全部来自构成:A 组有学位的人更多。

一步一步看

目标:用构成公式算出 A、B 两组的整体表现,解释 16 个点的差距。

构成示意:A 组持学位 70% 对应整体 58%,B 组持学位 30% 对应整体 42%,差 16 个点用青绿色标出;底部写明有学位者 70% 表现好、无学位者 30% 表现好,两组相同

  1. 写出公式:某组基率 = q1 × s + q0 × (1 − s)。q1 是有学位者里表现好的比例,q0 是无学位者里的,s 是该组持学位的比例。

  2. 代入两组数据。

    组 s q1 q0 基率
    A 0.7 70% 30% 58%
    B 0.3 70% 30% 42%
  3. 算式:A 组 0.7 × 70% + 0.3 × 30% = 0.49 + 0.09 = 58%。B 组 0.3 × 70% + 0.7 × 30% = 0.21 + 0.21 = 42%。

  4. 结论:同一学位层内表现一样,持学位比例不同,整体就差 16 个点。

怎么算

某组基率 = q1 × s + q0 × (1 − s)

意思是:预测均等保证 q1、q0 各组相同,人口均等保证 s 各组相同,代进去各组基率只能相同;基率不同时,两条之中必有一条不成立。

常见误解

误解:两组整体比例不同,就说明某一组在同等条件下表现差

Dana 的例子里,同一学位层内两组完全一样。58% 对 42% 的差距全部来自持学位比例不同,这就是构成效应。

误解:既然差距是真的,Dana 的两项检查里必有一项算错了

课件里 Dana 就是这么想的。两项检查都没错:第一项不通过,第二项通过,合起来正好解释差距。

试一下

C 组持学位比例 0.5,学位层内表现和 A、B 相同。C 组整体表现好的比例是多少?

答案

0.5 × 70% + 0.5 × 30% = 50%。

4. 同一个池子,六个答案

它解决什么问题

前面几节一次只比两条定义。课件最后把六条一起放到同一个招聘池上,看哪些通过。

直觉

池子仍是绿队 12 人、红队 24 人,两队都有 8 人有才能。这次选法是:绿队选 6 人,全是有才能的;红队选 12 人,有才能和没才能各 6 人。

两队选择率都是 50%,人口均等完美;两队基率是 67% 对 33%,不相等。

注意:这个选法和第一节的第二种选法都是绿队选 6、红队选 12,但红队选中的人不同,两页别混。

课件的结论是:只有人口均等通过。

一步一步看

目标:从课件的计数表出发,逐条判断六条定义。

课件计数表:绿队 12 人有才能 8 人选中 6 人,TP 6 FP 0 FN 2 TN 4;红队 24 人有才能 8 人选中 12 人,TP 6 FP 6 FN 2 TN 10;合计 36 人有才能 16 人选中 18 人
图片来源:DSAI5T09 LT9.pptx, p.33
  1. 先读计数表。

    组 人数 有才能 选中 TP FP FN TN
    绿队 12 8 6 6 0 2 4
    红队 24 8 12 6 6 2 10
  2. 逐条算比例,得到六问表。

六问表订正版:人口均等 50% 对 50% 通过;基率 67% 对 33% 不通过;目标无关 75% 对 30% 不通过;等几率一行 TPR 和 FPR 为 75/0 对 75/37.5 不通过并用青绿色标出;预测均等 100% 对 50% 不通过;分层无关不是抽签不通过;底注说明课件把等几率一格印成 100/0

  1. 结论:六条里只有人口均等通过。

怎么判断

判断口诀:基率不同、选择器有用,六条定义不能同时成立,只能挑一条并说明理由。

定义 本池子 判定
人口均等 50% 对 50% 通过
人人平等 67% 对 33% 不通过
目标无关 有才能 75%,没才能 30% 不通过
等几率 TPR 75% 对 75%,FPR 0% 对 37.5% 不通过
预测均等 PPV 100% 对 50% 不通过
分层无关 组内不是抽签 不通过

意思是:课件下一页的标题 You Can Have ONE! 就是这张表的结论。接下来要挑一条符合价值观的定义,然后公开为这个选择辩护。

常见误解

误解:等几率不通过,是因为两队的 TPR 不同

课件这一格印成 100/0 对 75/37.5,按计数表绿队 TPR 是 6 ÷ 8 = 75%,和红队相同。等几率不通过的原因只在 FPR:0% 对 37.5%。

误解:人人平等不通过,是因为选择器有用

基率 67% 对 33% 是池子本身的情况,和选择器怎么选无关。课件结论那句话把这一条也算进了「因为选择器有用」,读的时候要分开。

试一下

如果把红队的 6 个没才能的被选中者换成另外 2 个有才能的人和 4 个没才能的人,等几率会成立吗?

答案

红队 TP 8、FP 4,TPR 100%,FPR 4 ÷ 16 = 25%;绿队 TPR 75%、FPR 0%。仍不成立,这正是第一节的第二种选法。

把它们串起来

人口均等和等几率各管一件事,课件用同一个池子各画一个反例,证明两个方向都推不出。

命题 1 说,硬要两条同时成立,只剩基率本来相等或选择器不看才能;命题 2 说,人口均等加预测均等,必然推出基率相等。Dana 的例子反过来用了命题 2 的公式:同一学位层内表现一样,持学位比例不同,整体差距就来自构成。

把六条放到同一个池子上,只有人口均等通过。基率不同、选择器有用时,六条只能挑一条。

前两页见 L09a。六件套的定义见 L09b。

课件里的坑

  • [课件错误] p.34 等几率一行印「100/0 vs 75/37.5」→ 按 p.33 的表,绿队 TPR = 6/8 = 75%,应为「75/0 vs 75/37.5」。判定不通过不变,但原因只在 FPR(0% vs 37.5%)
  • [课件错误] p.32 第二项检查的表格行标签印 Strong (T = 1) / Not strong (T = 0) → 这项检查的是 T⊥G|S,行标签应为 Degree (S = 1) / No degree (S = 0),表里 70% / 30% 是有学位者和无学位者里表现好的比例
  • [读图提醒] p.28 两张小方格图的池子和 p.26–27 不同:红队 24 人里只有 4 人有才能,课件没标出,按格子数
  • [读图提醒] p.27 和 p.33 都是绿队选 6、红队选 12,但红队选中的人不同:p.27 红队 TP 8、FP 4,p.33 红队 TP 6、FP 6
  • [说法提醒] p.34 结论说选择器有用,所以其余五条不通过;其中人人平等不通过是池子本身如此(67% vs 33%),和选择器无关

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写命题 1 和命题 2 的式子,各用一句话解释;再拿 p.33 的计数表自己算一遍六问表,找出课件印错的那一格;最后用 Dana 的数字复算一次构成公式。

必背

  1. 人口均等推不出等几率,等几率也推不出人口均等,课件用同一个池子各画一个反例
  2. 命题 1:S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T,人口均等加等几率,只剩基率本来相等或选择器不看才能
  3. 命题 2:S⊥G ∧ T⊥G|S ⇒ T⊥G,人口均等加预测均等,必然推出基率相等
  4. 组间差距可以完全来自构成:每个学位层内表现一样,持学位比例不同,整体比例就不同
  5. 同一个池子:只有人口均等通过,其余五条都不通过;基率不同且选择器有用时,六条不能同时成立
  6. 课件 p.34 等几率一格应为 75/0 vs 75/37.5,判定仍是不通过,原因只在 FPR

课件例题

例 1(课件 p.25):三个问题

题面:Q1 人口均等能推出等几率吗?Q2 等几率能推出人口均等吗?Q3 再要求预测均等会怎样?

提示

Q1、Q2 找反例;Q3 看命题 2。

解答

Q1 不能,p.27 的选法人口均等成立、等几率不成立。Q2 不能,p.26 的选法等几率成立、人口均等不成立。Q3 人口均等加预测均等推出基率相等;基率真的不同时,两者只能留一个。

例 2(课件 p.26):只选有才能的人

题面:绿队 12 人有才能 8 人,红队 24 人有才能 8 人,只选全部有才能的人。算 TPR、FPR、选择率,判断两条定义。

提示

完美选择器。

解答

TPR 两组都是 100%,FPR 都是 0%,等几率成立;选择率 8/12 = 67% 对 8/24 = 33%,人口均等不成立。基率不同时,同样的对待产生不同的总数。

例 3(课件 p.27):两队都选一半

题面:同一池子,绿队选 6 个有才能的,红队选 8 个有才能的加 4 个没才能的。判断两条定义,说明选择器犯了什么错。

提示

两队的错误方向。

解答

选择率都是 50%,人口均等成立;TPR 75% 对 100%,FPR 0% 对 25%,等几率不成立。选择器在绿队拒掉有才能的人,在红队收下没才能的人,两队的错误方向相反。

例 4(课件 p.28):换一个池子

题面:绿队 12 人有才能 8 人,红队 24 人只有 4 人有才能。左图选绿队 2 人、红队 1 人(都有才能);右图选绿队 2 人、红队 4 人(都有才能)。各判断两条定义。

提示

先按格子数确认红队有才能的人数。

解答

左图:TPR 2/8 = 25% 对 1/4 = 25%,FPR 都是 0%,等几率成立;选择率约 17% 对约 4%,人口均等不成立。右图:选择率 2/12 和 4/24 都约 17%,人口均等成立;TPR 25% 对 100%,等几率不成立。两个方向都推不出。

例 5(课件 p.30):Dana 的两个承诺

题面:Dana 只问学位,承诺学位在每组一样常见、一样好用。按命题 1,两个承诺都兑现时,还剩哪两种可能?

提示

命题 1 右边的两项。

解答

选项一:T⊥G,各组表现好的比例本来相同。选项二:S⊥T,学位和表现无关(p1 = p0),这个问题等于白问。

例 6(课件 p.32):两个嫌疑人

题面:A 组持学位 70%,B 组 30%;两组有学位者里都是 70% 表现好,无学位者里都是 30%。算两组整体表现好的比例,说明差距从哪来。

提示

构成公式。

解答

A 组 0.7 × 70% + 0.3 × 30% = 58%,B 组 0.3 × 70% + 0.7 × 30% = 42%,差 16 个点。第一项检查(S⊥G)不通过,第二项(T⊥G|S)通过,差距全部来自构成:A 组持学位的人更多。

例 7(课件 p.33–34):六问表

题面:按 p.33 的计数表,逐条判断六条定义,指出课件印错的一格。

提示

等几率要分组分层算 TPR 和 FPR。

解答

人口均等 50% 对 50% 通过;人人平等 67% 对 33% 不通过;目标无关 12/16 = 75% 对 6/20 = 30% 不通过;等几率绿队 TPR 6/8 = 75%、FPR 0/4 = 0%,红队 TPR 6/8 = 75%、FPR 6/16 = 37.5%,不通过;预测均等 6/6 = 100% 对 6/12 = 50% 不通过;分层无关组内不是抽签,不通过。课件把等几率印成 100/0 vs 75/37.5,应为 75/0 vs 75/37.5。

完整例题

题目:一个奖学金评审池:甲组 20 人,其中 10 人优秀;乙组 40 人,其中 10 人优秀。评审选中甲组 8 人(全部优秀)、乙组 16 人(优秀 8 人、不优秀 8 人)。逐条判断人口均等、人人平等、等几率、预测均等,并说明结果是否符合命题 1、命题 2。

① 四格。甲组 TP 8、FP 0、FN 2、TN 10;乙组 TP 8、FP 8、FN 2、TN 22。

② 人口均等。8 ÷ 20 = 40%,16 ÷ 40 = 40%,成立。

③ 人人平等。10 ÷ 20 = 50%,10 ÷ 40 = 25%,不成立。

④ 等几率。TPR 8 ÷ 10 = 80% 和 8 ÷ 10 = 80%;FPR 0 ÷ 10 = 0% 和 8 ÷ 30 ≈ 26.7%,不成立。

⑤ 预测均等。PPV 8 ÷ 8 = 100% 和 8 ÷ 16 = 50%,不成立。

⑥ 对照命题。基率不同、选择器看才能,人口均等成立时,等几率和预测均等都不成立,符合两个命题。

变式题(先自己做)

自编情境:一家公司对两组候选人用同一个测验。X 组 50 人,通过测验 25 人;Y 组 50 人,通过测验 25 人。通过者里 X 组 20 人表现好,Y 组 20 人表现好;未通过者里两组都是 5 人表现好。判断人口均等、预测均等,并算两组基率,检查是否符合命题 2。

提示

用构成公式算基率。

判分点与答案(非官方评分标准)

人口均等:25 ÷ 50 = 50%,两组相同,成立。

预测均等:通过者里表现好 20 ÷ 25 = 80%,两组相同,成立;未通过者里 5 ÷ 25 = 20%,也相同。

基率:0.5 × 80% + 0.5 × 20% = 50%,两组相同。

判分点:两条定义判断正确;用构成公式算出基率;指出这符合命题 2,两条同时成立时基率必然相等。

闪卡自测

1. p.25 的三个问题?

人口均等推等几率?等几率推人口均等?再加预测均等会怎样?(p.25)

2. p.26 选法的选择率?

67% 对 33%,等几率成立、人口均等不成立(p.26)。

3. p.27 选法的 TPR 和 FPR?

TPR 75% 对 100%,FPR 0% 对 25%(p.27)。

4. 命题 1 的式子?

S⊥G ∧ S⊥G|T ⇒ T⊥G ∨ S⊥T(p.29)。

5. 命题 2 的式子?

S⊥G ∧ T⊥G|S ⇒ T⊥G(p.31)。

6. Dana 例子里 A、B 两组整体表现?

58% 对 42%,差 16 个点(p.32)。

7. 差距来自哪里?

构成:A 组持学位的人更多,学位层内表现相同(p.32)。

8. 同一池子里哪条定义通过?

只有人口均等(p.34)。

9. 等几率那格应该是什么?

75/0 vs 75/37.5(p.34)。

10. p.35 的标题?

You Can Have ONE!(p.35)。

下一讲

下一页 L09d 讲接下来怎么办:不可能结果为什么正常、去掉组别为什么不管用、按场景选定义、把取舍公开、六步审计。回到 课程目录 可以按讲次复习。

下一讲 →
L09d L09d 选择公平:去掉组别不管用,按场景挑定义并公开审计

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。