← DSAI5T09 全部讲次
L09b · 第 11 周

L09b 公平六件套:六种把公平写成独立的方法

从零讲清课件的 Fairness SixPack:上排三条直接独立(人口均等 S⊥G、人人平等 T⊥G、目标无关 S⊥T)和平等乌托邦,下排三条条件独立(等几率 S⊥G|T、预测均等 T⊥G|S、分层无关 S⊥T|G),每条怎么检查、各自不保证什么。

一句话版

把 G、S、T 三个变量两两配对,要求它们独立,得到三条公平定义;再给定第三个变量后要求独立,又得到三条;这六条就是公平六件套,每条只保证一件事。

先认识这几个词

词 全称 / 读法 一句人话
人口均等 demographic parity,S⊥G 各组被选中的比例一样
人人平等 we’re all equal,T⊥G 各组真正够格的比例一样
目标无关 target indifference,S⊥T 选不选你和你够不够格无关,等于抽签
等几率 equal odds,S⊥G|T 同样够格(或同样不够格)的人,各组被选中的比例一样
预测均等 predictive parity,T⊥G|S 被选中的人里,各组真正够格的比例一样
分层无关 stratified indifference,S⊥T|G 每组内部抽签
TPR / FPR 真正例率 / 假正例率 够格的人被选中的比例 / 不够格的人被选中的比例

一个类比:家长对选拔的六种投诉

学校从两个班里选人进竞赛队,家长来投诉,说法各不相同。

「我们班被选上的比例太低。」这是在要人口均等。

「同样水平的孩子,我们班落选得多。」这是在要等几率。

「选上的孩子里,你们班有些其实水平一般。」这是在要预测均等。

「干脆抽签吧,谁也别说谁。」这是目标无关。「每班名额先定好,班里再抽签。」这是分层无关。

还有人说:「两个班本来水平就一样。」这句话不是对选拔的要求,是对现实的判断,对应人人平等。

类比在哪里失效:

  1. 家长可以同时提好几条投诉;下一页会看到,在常见情形下这几条不能同时满足。
  2. 学校可以重新考一次来查清水平;很多场景里真实目标 T 根本查不到。
  3. 家长的投诉带着情绪;六条定义是纯粹的数学条件,各自只检查一个比例。

从零讲起

1. 上排三条:人口均等、人人平等、目标无关

它解决什么问题

上一页有了独立的说法。三个变量 G、S、T 两两配对,正好三对:S 和 G、T 和 G、S 和 T。每一对要求独立,就得到一条公平定义。

直觉

公平六件套:上排直接独立三格,S⊥G 人口均等各组选择率相同,T⊥G 人人平等各组基率相同,S⊥T 目标无关选择不看真相;下排给定第三个变量后独立三格,S⊥G|T 等几率,T⊥G|S 预测均等,S⊥T|G 分层无关;T⊥G 一格被青绿色标出,注明它说的是现实

人口均等 S⊥G:每组被选中的比例相同。课件说这是最普遍的直觉,常常是人们唯一想到的公平;比例不同时,常被当成歧视的证据。它也叫统计均等、结果平等。做法通常是配额和同等代表。

它的问题在于定义里没有 T。一个完全不看才能的选择器,只要各组比例相同,照样过关。

目标无关 S⊥T:选不选和够不够格无关,也就是抽签。抛硬币、抽签、随机抽人组成议事机构(sortition)都属于这一类,兵役抽签、陪审员抽选、选举平票时抽签都在用。课件的评价是:没有腐败,没人可怪,也没有任何用处。

人人平等 T⊥G:各组真正够格的比例相同,也就是基率相等。这是对现实的断言,不是选择器的性质,任何算法都不能单靠自己做到。

一步一步看

目标:用课件的平等乌托邦,看上排三条什么时候能一起成立。

  1. 先假设选择器完美:S = T,门只为有才能的人开。

  2. 再假设现实里两组基率相同:T⊥G。

    组 有才能的比例
    绿队 一半
    红队 一半
  3. 两件事一起成立时,被选中的恰好是有才能的人,两组都是一半被选中。

    组 被选中的比例 S⊥G
    绿队 一半 成立
    红队 一半 成立
  4. 结论:S = T 加 T⊥G,人口均等自动成立,课件说这是「白送的」。

怎么判断

判断口诀:上排三条各看一对变量:S 对 G 看选择率,T 对 G 看基率,S 对 T 看选择是否看真相。

定义 检查什么 课件的提醒
人口均等 S⊥G 各组选择率 不涉及 T,乱选也能过
人人平等 T⊥G 各组基率 说的是现实,算法做不到
目标无关 S⊥T 有才能和没才能的人被选中的比例 公平但毫无用处

意思是:上排三条里,只有人口均等是选择器能直接调出来的;人人平等要看现实,目标无关等于放弃判断。

常见误解

误解:各组被选中的比例相同,就说明选得公正

人口均等只看 S 和 G。课件特意指出:定义里没有 T,一个完全不看才能的选择器也能满足它。比例相同可能掩盖选错了人。

误解:好的算法能让各组基率变得相同

基率是现实里各组有多少人够格,选择器改变不了它。课件写明:T⊥G 是对现实的断言,没有算法能单靠自己实现。

试一下

一个奖学金完全靠抽签发放。它满足人口均等吗?满足目标无关吗?

答案

满足目标无关:抽签和才能无关。如果每个人中签概率相同,各组选择率也相同,人口均等也成立。代价是奖学金和才能毫无关系。

2. 等几率:同样的真相,同样的错误率

它解决什么问题

人口均等不看 T,可能选错人。等几率换一个角度:先按真相把人分开,再比各组被选中的比例。

从哪来(补充)

《Fairness and Machine Learning》把群体公平准则归成三类:independence、separation、sufficiency。等几率 S⊥G|T 就是 separation,书中说这条准则曾以 equalized odds 之名出现;人口均等对应 independence。出处:Fairness and Machine Learning, Classification。

直觉

等几率 S⊥G|T:先固定真相,组别就不再改变什么。

拆开是两句话。在有才能的人里,各组被选中的比例(真正例率 TPR)相同;在其余人里,各组被误选的比例(假正例率 FPR)相同。

这样,没有哪一种错误不成比例地落在某一组头上。课件的总结是:等几率比的是错误,不是总数,它在同一真相水平上比较两队。

一步一步看

目标:数课件的两个方格,算出两组的 TPR 和 FPR,判断等几率是否成立。

课件图:左栏 T 等于 1 有才能的人,绿队两列红队四列各四行,黑框盖住上面两行,注明 TPR 两组都是 50%;右栏 T 等于 0 其余的人,黑框盖住第一行,注明 FPR 两组都是 25%
图片来源:DSAI5T09 LT9.pptx, p.21
  1. 只看有才能的人,数黑框盖住的格子。

    组 有才能 被选中 TPR
    绿队 8 4 4 ÷ 8 = 50%
    红队 16 8 8 ÷ 16 = 50%
  2. 只看其余的人,同样数。

    组 没才能 被选中 FPR
    绿队 8 2 2 ÷ 8 = 25%
    红队 16 4 4 ÷ 16 = 25%
  3. 两个比例都相等,等几率成立。

怎么算

TPR = TP ÷(TP + FN),即有才能的人里被选中的比例。

FPR = FP ÷(FP + TN),即没才能的人里被选中的比例。

等几率要求:各组 TPR 相等,并且各组 FPR 相等。

意思是:两个条件缺一不可;只有 TPR 相等、FPR 不等,等几率就不成立。

常见误解

误解:等几率成立,各组被选中的总比例就相同

等几率在每个真相层内比较。两组基率不同时,即使 TPR、FPR 都相同,总的选择率也会不同。下一页的反例正是这样。

误解:等几率只要求 TPR 相等

那只是一半。只要求 TPR 相等的版本另有名字;课件的等几率要求有才能的人和其余的人两层都相等。

试一下

绿队有才能 10 人选 6 人、没才能 10 人选 1 人;红队有才能 20 人选 12 人、没才能 30 人选 3 人。等几率成立吗?

答案

TPR:6 ÷ 10 = 60%,12 ÷ 20 = 60%,相等。FPR:1 ÷ 10 = 10%,3 ÷ 30 = 10%,相等。等几率成立。

3. 预测均等:同一个信号,对每组意思一样

它解决什么问题

雇主、银行常把一个选择结果当信号用:选上了,就说明这个人多半够格。预测均等要求这个信号对每一组都一样可靠。

从哪来(补充)

同一本书里,预测均等对应 sufficiency:对二元预测,它要求各组的阳性预测值和阴性预测值都相等;只要求阳性预测值(PPV)相等的版本是它的放宽,叫 predictive parity。出处:Fairness and Machine Learning, Classification。

直觉

预测均等 T⊥G|S,也叫 sufficiency。先固定选择结果,组别就不再透露真相。

课件的例子是招聘官 Dana。她的经验法则是:有理工大学学位(S = 1),意味着大约 72% 的机会工作表现好。她把学位当预测器用。

问题是:这个赌注对每个组都一样灵吗?如果某一组有学位的人里只有 45% 表现好,Dana 就不能对所有人用同一种读法。

一步一步看

目标:读课件 Dana 的条形图,判断学位这个信号是否满足预测均等。

课件漫画:Dana 惊讶地说同样的学位,C 组的毕业生只有 45% 表现好;右侧条形图 A 组 72%、B 组 72%、C 组 45%,红色虚线标出 72% 的均等线;底部写预测均等不成立
图片来源:DSAI5T09 LT9.pptx, p.22
  1. 只看有学位(S = 1)的人,每组读出表现好的比例。

    组 有学位者中表现好
    A 72%
    B 72%
    C 45%
  2. 比较三组:A 和 B 相同,C 低很多。

  3. 结论:同一个学位在 C 组的预测力不同,预测均等不成立。

怎么算

PPV = TP ÷(TP + FP),即被选中的人里真正有才能的比例。

预测均等(按课件的说法)要求各组 PPV 相等。

意思是:预测均等只固定「被选中的人看起来一样」这件事,Dana 读到学位时,对每组都能下同样的判断。

课件特意列了它不保证的三件事:

不保证 那是哪条定义管的
各组选择率相同 人口均等
各组基率相同 人人平等
各组错误率相同 等几率

常见误解

误解:预测均等就是「人人平等」

课件这页的括号里混写了 We are all equal,那是 T⊥G 的名字。预测均等是 T⊥G|S,只在被选中(和没被选中)的人里比较,各组整体基率可以不同。

误解:预测均等成立,各组拿到的录取名额也会接近

不会。课件明说:各组拿到多少录取是另一个问题,归人口均等管。

试一下

绿队选了 10 人,其中 8 人有才能;红队选了 20 人,其中 16 人有才能。预测均等成立吗?

答案

PPV:8 ÷ 10 = 80%,16 ÷ 20 = 80%,相等,成立。两队选中人数不同不影响结论。

4. 分层无关:组内抽签,组间名额不同

它解决什么问题

有些场合想保证各组的份额,又不想在组内挑人。分层无关就是这种做法:先按组定名额,再在组内抽签。

直觉

分层无关 S⊥T|G:把目标无关搬到每一组内部。给定组别后,选不选和才能无关。

课件的例子是分层奖学金抽签:每队一个名额数,名额内抽签。份额有保证,才能没有保证。

课件还说:这种抽签公不公平,全看各组名额从哪来。

兵役的例子把这一点画得很清楚:男性这扇门抽签,中签概率大于零;女性那扇门不抽签,概率等于零。组内随机,组间不平等。

一步一步看

目标:读课件兵役漫画,分清组内和组间两层,判断分层无关是否成立。

课件三格漫画:征兵办公室两扇门分别写男性抽签和女性不抽签;男性门后排队抽签,牌子写 P 大于 0;女性门后不抽签,牌子写 P 等于 0;底栏写 S⊥T|G 及变量说明
图片来源:DSAI5T09 LT9.pptx, p.24
  1. 看组内:男性一组里,每个人抽同一个盲签。

    层 是否和个人有关
    男性组内 无关,抽签
    女性组内 无关,都不抽
  2. 看组间:男性中签概率大于零,女性等于零。

  3. 结论:每组内部选择都和个人无关,S⊥T|G 成立;两组的机会在抽签之前就定死了。

怎么判断

判断口诀:分层无关只查组内;组间的名额要另外拿出来讨论。

层次 分层无关管不管 兵役例子
组内是否抽签 管 是
组间名额是否公平 不管 男性大于零,女性等于零

意思是:分层无关能保证份额按名额分配,名额本身公不公平,要回到名额是怎么定的。

常见误解

误解:用了抽签就一定公平

兵役例子里每组都是随机的,可两组的中签概率在抽签前就被定得完全不同。抽签只保证组内,组间要看名额。

误解:分层无关能保证选出有才能的人

课件原话:份额有保证,才能没有保证。组内抽签本来就不看才能。

试一下

一所学校给 A、B 两个年级各 10 个名额,年级内抽签。这满足哪条定义?要判断它公不公平,还要问什么?

答案

满足分层无关:给定年级,选择和个人才能无关。还要问名额为什么各 10 个,比如两个年级人数是否相近。

把它们串起来

上排三条直接要求独立:人口均等让各组选择率相同,但不看真相;人人平等是对现实的判断,算法做不到;目标无关等于抽签,公平但没用。选择器完美、现实基率又相同时,三条一起成立,这是平等乌托邦。

下排三条先固定第三个变量:等几率固定真相,比较各组的 TPR 和 FPR;预测均等固定选择结果,比较被选中者里够格的比例;分层无关固定组别,要求组内抽签。

每条只保证一件事。下一页会看到,基率不同、选择器又有用时,它们会彼此冲突。

前一页见 L09a。

课件里的坑

  • [图内矛盾] p.22 上半部分点阵 A、B、C 三组都画 72 个深色点,标 72% strong performers;下半部分条形图 C 组却是 45%、标预测均等不成立。答题以条形图的 72%、72%、45% 为准
  • [符号不一致] p.22 Dana 的经验写成 Y = 1,全讲其余地方用 T 表示目标;p.24 说明栏写 T = who you are,和 p.4 冲突(p.4 中 who you are 是 G)。答题按 p.4:G 组别、S 选择、T 真实目标
  • [术语混写] p.22 预测均等的要点后括号写 (We are all equal),那是 T⊥G 的名字;预测均等是 T⊥G|S

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先把六件套的六个式子和中英文名字默写成 2 × 3 的表;再对照课件 p.12–24 做课件例题;最后回查一个易错点:人口均等不涉及 T,T⊥G 是对现实的断言。

必背

  1. 上排直接独立:人口均等 S⊥G(各组选择率相同)、人人平等 T⊥G(各组基率相同)、目标无关 S⊥T(选择不看真相)
  2. 下排条件独立:等几率 S⊥G|T、预测均等 T⊥G|S、分层无关 S⊥T|G
  3. 人口均等不涉及 T:一个完全不看才能的选择器也能满足它
  4. T⊥G 是对现实的断言,任何算法都不能单靠自己实现它
  5. 平等乌托邦:S = T 加上 T⊥G,S⊥G 自动成立
  6. 等几率比的是错误率:有才能的人里 TPR 相同,其余人里 FPR 相同
  7. 预测均等(又叫 sufficiency):被选中的人里真正有才能的比例在各组相同,选择信号对每组意思一样
  8. 分层无关:每组内部抽签,组间名额可以不同;它公不公平全看名额怎么定

课件例题

例 1(课件 p.13):人口均等

题面:绿队 6 人选 4 人,红队 6 人选 4 人。人口均等成立吗?这条定义有什么弱点?

提示

算两组选择率;定义里出现了哪几个变量?

解答

两组都是 4 ÷ 6 = 2/3,人口均等成立。弱点是定义里没有 T:一个完全不看才能的选择器也能通过,比例相等可以掩盖选错人。

例 2(课件 p.14–15):目标无关与人人平等

题面:说明目标无关 S⊥T 的实现方式和代价;说明为什么 T⊥G 不能由算法实现。

提示

抽签;基率是谁决定的?

解答

目标无关靠抛硬币、抽签、随机抽人(sortition)实现,兵役、陪审员、选举平票都在用;没有腐败、没人可怪,也没有用处。T⊥G 说的是现实里各组够格的比例相同,是对现实的断言,选择器改变不了。

例 3(课件 p.17):平等乌托邦

题面:哪两个条件同时成立时,人口均等会自动成立?

提示

一个关于选择器,一个关于现实。

解答

S = T(完美选择)和 T⊥G(现实中基率相等)。两者都成立时,被选中的就是有才能的人,各组有才能的比例相同,所以各组选择率相同,S⊥G 自动成立。

例 4(课件 p.21):等几率

题面:有才能的人里,黑框盖住每列的一半;其余的人里,盖住每列的四分之一。算出两组的 TPR 和 FPR,判断等几率。

提示

TPR 只看有才能的人,FPR 只看其余的人。

解答

TPR 两组都是 50%(绿队 4 ÷ 8,红队 8 ÷ 16);FPR 两组都是 25%(绿队 2 ÷ 8,红队 4 ÷ 16)。等几率成立。它比的是同一真相水平上的错误率,和总数无关。

例 5(课件 p.22):Dana 的学位

题面:有学位的人里,A、B、C 三组表现好的比例分别是 72%、72%、45%。预测均等成立吗?预测均等不保证哪三件事?

提示

固定 S = 1,比较三组。

解答

不成立:同一个学位在 C 组只对应 45%,Dana 不能对所有组用同一种读法。预测均等不保证各组选择率相同、各组基率相同、各组错误率相同,它只固定学位这个信号的含义。

例 6(课件 p.23–24):分层无关

题面:用兵役抽签说明分层无关的组内和组间两层。

提示

两扇门。

解答

组内:男性一组里每人抽同一个盲签,选择和个人无关,S⊥T|G 成立。组间:男性中签概率大于零,女性为零,机会在抽签前就定了。分层无关保证份额,不保证才能;公不公平取决于名额怎么定。

完整例题

题目:一家银行用模型批贷款。审计给出:A 组 100 人申请,60 人真会还款,模型批了 50 人,其中 45 人真会还款;B 组 100 人申请,40 人真会还款,模型批了 50 人,其中 30 人真会还款。逐条检查人口均等、等几率、预测均等。

① 先填四格。A 组 TP 45、FP 5、FN 15、TN 35;B 组 TP 30、FP 20、FN 10、TN 40。

② 人口均等。A 组 50 ÷ 100 = 50%,B 组 50 ÷ 100 = 50%,成立。

③ 等几率。TPR:A 组 45 ÷ 60 = 75%,B 组 30 ÷ 40 = 75%,相等;FPR:A 组 5 ÷ 40 = 12.5%,B 组 20 ÷ 60 ≈ 33.3%,不等。等几率不成立。

④ 预测均等。PPV:A 组 45 ÷ 50 = 90%,B 组 30 ÷ 50 = 60%,不等,不成立。银行看到「批了」时,对两组的信心应该不同。

⑤ 结论。只有人口均等成立。两组基率不同(60% 对 40%),模型为了让批准比例相同,在 B 组多批了不会还款的人。

变式题(先自己做)

自编情境:一所学校用面试选人。绿队 20 人,其中 10 人有才能,选中 8 人(有才能 6 人);红队 40 人,其中 20 人有才能,选中 16 人(有才能 12 人)。逐条检查人口均等、人人平等、等几率、预测均等。

提示

先填两组的 TP、FP、FN、TN,再逐条算比例。

判分点与答案(非官方评分标准)

四格:绿队 TP 6、FP 2、FN 4、TN 8;红队 TP 12、FP 4、FN 8、TN 16。

人口均等:8 ÷ 20 = 40%,16 ÷ 40 = 40%,成立。

人人平等:10 ÷ 20 = 50%,20 ÷ 40 = 50%,成立。

等几率:TPR 6 ÷ 10 = 60%,12 ÷ 20 = 60%;FPR 2 ÷ 10 = 20%,4 ÷ 20 = 20%,成立。

预测均等:6 ÷ 8 = 75%,12 ÷ 16 = 75%,成立。

判分点:四格填对;四个结论都对;能说出这是基率相等时几条定义可以同时成立的情形。

闪卡自测

1. 六件套上排三条?

S⊥G 人口均等、T⊥G 人人平等、S⊥T 目标无关(p.12)。

2. 六件套下排三条?

S⊥G|T 等几率、T⊥G|S 预测均等、S⊥T|G 分层无关(p.12)。

3. 人口均等的别名?

统计均等、结果平等、equity(p.13)。

4. 目标无关的代价?

没有腐败、没人可怪,但也没有用处(p.14)。

5. 为什么算法做不到 T⊥G?

它是对现实的断言,不是选择器的性质(p.15)。

6. 平等乌托邦的两个条件?

S = T 和 T⊥G(p.17)。

7. 等几率比较哪两个比率?

各组的 TPR 和 FPR(p.20–21)。

8. 预测均等的另一个名字?

sufficiency(p.22)。

9. Dana 的例子里哪一组预测力不同?

C 组,有学位者只有 45% 表现好(p.22)。

10. 分层无关保证什么、不保证什么?

保证份额,不保证才能(p.23)。

下一讲

下一页 L09c 看六条定义怎样互相冲突:人口均等和等几率互相推不出,两个命题说明基率不同时不能全要。回到 课程目录 可以按讲次复习。

下一讲 →
L09c L09c 公平定义的冲突:基率不同时只能挑一条

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。