← DSAI5T09 全部讲次
L04b-4 · 第 5 周

L04b-4 选指标、修偏差、设门禁:从伤害选透镜,在偏差进来的地方动手

公平指标没有技术上的标准答案:先问伤害落在谁身上再选 SP、EO 或 PE;偏差在写代码前、建模中、上线后三处进入,就在对应位置修;最后把审计做成 DOC、TEST、FIX、WATCH 四步发布门禁。

一句话版

选哪个公平指标是一次价值表态;做完干预要重跑检查才算数,上线后还要一直盯着。

前一页说明了指标不能全部同时满足。这一页回答三件事:怎么选,偏差在哪修,怎么把检查固定成上线前必须过的一道门。

先认识这几个词

词 全称 / 读法 一句人话
透镜 lens 看问题的角度,每个指标让一类伤害变得可见
SR selection rate,选中率 全组里被判为正的比例,SP 比的就是它
重加权 / 重采样 reweight / resample 训练前调整各类样本的分量,让数据更均衡
公平惩罚项 fairness penalty 训练时把不公平也算进损失里
发布门禁 release gate 不通过就不能上线的检查
漂移 drift 上线后数据分布慢慢偏离训练时的样子
Datasheet Datasheets for Datasets 给数据集配的一份说明书

一个类比:给一栋楼做防火

防火先要问「怕的是什么」。怕人困在里面,重点是逃生通道。怕财物烧毁,重点是喷淋系统。怕火蔓延到邻居,重点是防火墙。目标不同,花钱的地方就不同。

隐患进来的地方也不同。有的在设计图纸上,有的在施工时偷工减料,有的是住进去以后乱堆杂物。在哪进来,就在哪处理;图纸已定的老楼,只能改日常管理。

装完设备不算完。要做一次消防演练,证明真的有用。验收通过才能入住,入住以后还要定期复查。

类比在哪里失效:

  1. 防火的目标大多能同时满足;公平指标之间有数学上的冲突,必须放弃一部分。
  2. 火灾看得见;模型的不公平往往没人察觉,被伤害的人也不知道原因,所以更依赖记录和复查。

从零讲起

1. 选指标就是选价值

它解决什么问题

既然指标会打架,到底该用哪一个?课件的回答是:没有技术上正确的那一个,要看你想保护什么价值、要避免哪种伤害。

直觉

论题句是 There is no single metric that settles what “fair” means。课件列了四种「应该相等」的东西:

应当相等的是 对应的族 / 指标
TREATMENT / OUTCOMES Independence,Statistical Parity
OPPORTUNITY Separation,Equal Opportunity
PREDICTION MEANING Sufficiency,同一个分数在各组含义相同

图注是 Same decision problem. Different lenses. Different fairness claims。结论是选择与你想保护的价值相匹配的指标。

课件随后给了一张三行判题表。读法是从左往右:先问伤害,再找透镜,最后比比率。

三行对照:机会被差别分配对应分配透镜、比 SR;合格者更容易被漏掉对应合格者透镜、比 TPR;更容易被错误标记惩罚对应假警报透镜、比 FPR;箭头从左往右

三个透镜的名字好记:分配透镜看谁拿到,合格者透镜看谁被漏掉,假警报透镜看谁被冤枉。

一步一步看

目标:拿三个场景按伤害、透镜、比率各走一遍,看主要伤害怎样决定该比哪个比率。

拿三个场景,按「伤害 → 透镜 → 比率」各走一遍。

  1. 政府按区域分配免费疫苗名额,担心某些群体分到的少:伤害是分配不均,用分配透镜,比各组 SR。

  2. 大学用模型初筛申请人,担心合格的人被刷掉:伤害是漏掉合格者,用合格者透镜,比各组 TPR。

  3. 警方用模型标记高风险人员,担心无辜的人被盯上:伤害是错误标记,用假警报透镜,比各组 FPR。

    场景 主要伤害 透镜 比什么
    疫苗名额 分配不均 分配透镜,SP SR
    大学初筛 漏掉合格者 合格者透镜,EO TPR
    高风险标记 冤枉无辜 假警报透镜,PE FPR

怎么判断

选指标时按三步走,顺序不能反:

  1. 这里真正伤到人的是什么?
  2. 这种伤害对应哪个透镜?
  3. 写出要比的比率和它的分母。

先挑一个好算的指标再找理由,正是课件标题 not a magic number 批评的做法。

常见误解

把选指标当成技术选型,以为有一个最好的

每个指标保护不同的价值。选哪一个,决定了哪一类人承担剩下的错误,所以它是价值判断。能做的是把选择和理由写进文档。

以为 Ŷ=1 永远代表好事

positive 只表示编码为 1。录取时 Ŷ=1 是好事,标记高风险时 Ŷ=1 是坏事,同一套数学方向相反,透镜也不同。

试一下

一个外卖平台用模型决定哪些骑手被暂停接单(Ŷ=1 表示暂停)。骑手工会担心某些群体的骑手更容易被误停。该看哪个指标?

Ŷ=1 是坏事,担心的是没违规的骑手被暂停,属于错误标记,用假警报透镜,比各组 FPR,即 Predictive Equality。

2. 偏差从哪进来,就在哪修

它解决什么问题

发现了群体差距,该从哪下手?这一块把偏差的来源和修复的位置对上,告诉你有哪几个地方可以动手。

直觉

课件先说模型由一连串决定造成,流水线上有五个选择点:

环节 问题 风险
DATA Whose experience appears? 代表性可能已缺失、扭曲或过度加权
LABELS What counts as success? 「合格」「有风险」是一个定义,不是自然事实
FEATURES What may influence prediction? 选出的变量可能复现群体差异
OBJECTIVE What gets optimized? 准确率、利润、速度会把收益和错误分得不一样
THRESHOLD Who crosses the line? 分数在边界上变成批准或拒绝

再把偏差按进入时点分三段,每段配一个对策。同一组词 Pre、In、Post-processing 用了两次,一次讲病因,一次讲药方。

三列对照:BEFORE、DURING、AFTER 三个时点;上排病因是历史结构进入数据、建模选择引入偏差、反馈回路放大差距;下排药方是重加权或重采样、目标函数加公平惩罚、调阈值或校准输出;底部青绿字写着无论修哪一层,重跑 SP、EO、PE 检查才算证据

建模中那一段有句要点:抽样、标签、特征和目标的选择,可能在开发者意图公平时仍让某组获益。偏差不需要恶意作为前提。

上线后那一段最隐蔽,反馈回路会自我强化。模型的决定生成新的数据,下一轮训练又学到更大的差距。

修完之后,课件的专业标准是:mitigation is not evidence until you re-run SP, EO, and PE checks。

一步一步看

目标:拿一个已上线的招聘模型按能动到哪一层选干预点,看每层怎么修、改完为何都要重跑检查。

拿一个已经上线的招聘筛选模型,按「能动到哪一层」选干预点。

  1. 问能不能改数据:训练数据是公司自己的,可以。训练前重加权,让各组样本分量均衡。

  2. 问能不能改训练:模型是自己训的,可以。在目标函数里加公平惩罚项。

  3. 问只能改输出时怎么办:如果模型是买来的黑箱,就只剩调阈值或校准输出。

  4. 不管选哪层,改完都重跑 SP、EO、PE,报告新的差距和准确率变化。

    能动到哪 干预点 做法 改完要做
    数据 Pre-processing 重加权、重采样 重新训练并重跑检查
    训练过程 In-processing 目标函数加公平惩罚 重跑检查
    只有输出 Post-processing 调阈值、校准输出 重跑检查

怎么判断

评价一份「我们已经去偏」的报告,问三句:

  1. 偏差是从哪一段进来的?干预放在了对应的位置吗?
  2. 干预后重跑了哪几个指标?差距从多少变到多少?
  3. 准确率变了多少?这笔代价有没有写出来?

课件引用了一组研究数字:

方法 · 数据集 ΔFair / ΔAcc
Pre-processing · UCI Adult +0.15 / −0.03
In-processing · COMPAS +0.22 / −0.05
Post-processing · MIMIC-III +0.12 / −0.02

这三组来自三个不同的数据集,口径未统一,不能据此排出方法优劣。课件的工程原则是:公平与准确率的前沿是一个透明的政策决策点,不能藏在单一分数后面。

常见误解

以为有一个「去偏差」按钮

课件原话是 There is no single “debias” button。做完干预不等于修好,要重跑检查并看新的取舍。

以为上面三组数字说明 In-processing 普遍最好

三组数字来自三个领域完全不同的数据集,没有受控对比。答题照课件口径说「论文报告的这组对比中」,不要说成定律。

试一下

一个城市的预测性派警模型,警力更多派往模型标为高风险的区域,那里记录到更多案件,下一轮数据显示该区风险更高。这是哪一段的偏差?可以在哪里干预?

上线后的反馈回路,属于 Post-processing 那一段的病因。可以调阈值或校准输出,并且必须上线后持续重新审计,因为差距是一轮轮放大的。还应回头检查标签:「记录到的案件」受派警密度影响,未必代表真实犯罪率。

3. 公平审计与发布门禁

它解决什么问题

前面讲了指标和干预,怎么把它们放进日常的工程流程里?课件的回答是:先备齐审计需要的证据,再把审计变成上线前必须通过的一道门。

从哪来(补充)

门禁第一步提到的 Datasheet,出自 Timnit Gebru 等人的论文 Datasheets for Datasets。它主张每个数据集配一份说明书,记录动机、构成、采集过程和推荐用途,类比电子元件随附的规格书。出处:arXiv: Datasheets for Datasets。

直觉

一次公平审计要备齐四样证据:

标签 是什么
A 敏感群体,包括交集群体
Y 每条记录的真实结果,没有它算不出 EO 和 PE
Ŷ 模型的二元预测
CH 按群体各拆一张混淆矩阵

审计规则是:度量群体比率之间的差距,不只看模型的平均性能。

然后把审计变成门禁,四步循环:

步 动作 做什么
DOC Document 用 Datasheet 记录来源、标签、缺失、用途和已知局限
TEST Measure 按相关群体报告 SP、EO、PE 的差距
FIX Mitigate 在恰当阶段干预,再重跑同一套检查
WATCH Monitor 上线后就漂移、反馈回路、用户变化重新审计

四步循环:DOC、TEST、FIX、WATCH 首尾相连;WATCH 的箭头回到 DOC,旁边青绿字写着回到记录,新证据入档

课件的说法是:更公平的发布不是一次性声明,是一个可追溯的循环。

一步一步看

目标:拿奖学金初筛模型走一遍四步门禁,看上线前后每一步各留下什么证据。

拿一个学校的奖学金初筛模型,按四步门禁走一遍上线前后。

  1. DOC:写 Datasheet。数据来自往年申请记录,标签是「往年是否获奖」,家庭收入一栏有缺失,不适合用于判断学生能力。

  2. TEST:按性别、按地区、按两者交叉,各拆一张混淆矩阵,报告 SP、EO、PE 的差距。

  3. FIX:发现某地区合格学生的 TPR 偏低。模型是自己训的,在训练中加公平惩罚,再重跑三个指标。

  4. WATCH:上线一学期后,申请人构成变了,重新拆矩阵;新差距写回 Datasheet,进入下一轮。

    步 这个场景里做了什么 留下什么证据
    DOC 写清来源、标签、缺失、不适用的用途 Datasheet
    TEST 按组和交叉组拆矩阵 三个指标的差距表
    FIX 训练中加惩罚并重跑 干预前后对比
    WATCH 一学期后重审 更新后的 Datasheet

怎么判断

评价一个系统的公平流程,看四件事是否都有记录:

  1. 数据的来源和局限写下来了吗?
  2. 差距是按组算的,还是只报了平均?
  3. 干预之后有没有重跑同一套检查?
  4. 上线后有没有定期复审的安排?

门禁的意思是不通过就不能上线,和「建议上线前检查一下」强度不同。

常见误解

以为审计只需要模型预测 Ŷ

只有 Ŷ 只能算 SP。EO 和 PE 都需要真实结果 Y,还要按 A 分组各拆一张混淆矩阵。

以为上线前审计通过就一劳永逸

上线后数据会漂移,反馈回路会改变下一轮数据,公平性会随时间失效。所以门禁是一个循环,WATCH 之后回到 DOC。

试一下

一家公司上线了客服优先级模型,上线报告只有一句:「模型整体准确率 94%,已通过公平性审查。」按四步门禁,这份报告缺了哪些东西?

缺 DOC:没有数据来源、标签和局限的记录。缺 TEST:只报了整体准确率,没有按组的 SP、EO、PE 差距。FIX 无从判断:没说做过什么干预、干预后是否重跑。缺 WATCH:没有上线后的复审安排。

把它们串起来

这一页是下半份的收口。课件最后用四个词收尾,顺序正好是下半份的目录:

词 对应的内容
SEE THE PIPELINE 五个选择点、偏差三段
MEASURE THE GAP 三个指标、审计、按伤害选指标
MAKE THE TRADE-OFF EXPLICIT 指标冲突、干预与代价
MONITOR THE OUTCOME 门禁的 WATCH 一步

选指标靠伤害,修偏差靠位置,证明修好了靠重跑检查。三步都要留下记录,上线后还要回到第一步。

上半份把三个流程阶段压成三个必答问题,这一页把下半份压成四个必做动作,两张表结构平行。

全讲的收尾句是:公平性工作以数学开始,以对受自动化决策影响的人的问责结束。前半句否定「公平没法度量」,后半句否定「算出来达标就行」。

课件里的坑

  • [课件有误] p.33 右栏 02–04 的说明重复了 p.37 对应位置的 Measure / Mitigate / Monitor 文字,与本页 Ground Truth、Model Predictions、Group Confusion Matrices 标签对不上。按标签记四样审计输入:A、Y、Ŷ、分组混淆矩阵
  • [页面重叠] p.32 和 p.35 都用 Pre、In、Post-processing 三个词,一页讲偏差从哪来,一页讲在哪修,要成对记
  • [读数提醒] p.36 的三组 ΔFair / ΔAcc 来自三个不同数据集,课件没有定义统一口径,不能据此排出三种干预的优劣
  • [排版毛刺] p.33 的 Audit rule 多一个句点,p.35 的 Professional standard 结尾印了两个句点
  • [补充] p.37 只写了 Datasheet 一个词,出处是 Datasheets for Datasets

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写 p.34 的三行判题表;再默写 Pre、In、Post-processing 的病因和药方各一句;然后默写发布门禁四步;最后做完整例题和变式题,回查「重跑检查才算证据」有没有写进答案。

下面用于练习,不是官方题型或评分预测。论述题先说清 Ŷ=1 是好事还是坏事,再说伤害落在谁身上,最后给指标、干预位置和证据。

必背

  1. 没有哪一个指标能一锤定音;能相等的有 TREATMENT、OPPORTUNITY、OUTCOMES、PREDICTION MEANING 四种,选指标要对上你想保护的那个价值
  2. 选指标先问伤害:机会被差别分配看 Statistical Parity,合格者更容易被漏掉看 Equal Opportunity,更容易被错误标记惩罚看 Predictive Equality
  3. 流水线五个选择点:DATA、LABELS、FEATURES、OBJECTIVE、THRESHOLD,每一处都可能带着关于人的假设
  4. Pre、In、Post-processing 成对记:偏差可能来自历史数据、建模选择或上线后的反馈回路,对策分别是重加权重采样、目标函数加公平惩罚、调阈值或校准输出
  5. 缓解措施在重跑 SP、EO、PE 检查之前不算证据;公平与准确率的取舍要摆到台面上,不能藏在单一分数后面
  6. 发布门禁四步:DOC 用 Datasheet 记录数据,TEST 按组报告 SP、EO、PE 差距,FIX 干预后重跑检查,WATCH 上线后就漂移和反馈回路重新审计

课件例题

本讲课件没有例题。p.30–38 给的是选指标的判题表、偏差三段、审计输入和门禁四步,没有配案例;下半份的两道课件图解题(p.26、p.28)放在上一页。下面的完整例题和变式题按 p.34–37 的题型自编。

完整例题

自编情境,非课件原题:某银行用供应商提供的小额贷款审批模型,Ŷ=1 表示获批。模型无法重新训练。内部审计按申请人居住地区(城区 / 郊区)分组,得到:

真实能还款 其中获批 真实不能还款 其中获批
城区 400 320 100 20
郊区 200 120 50 10

题目:该看哪个指标?差距多大?能在哪一层干预?干预后拿出什么才算证据?

① 判断方向与伤害。Ŷ=1 是获批,是好事。主要伤害是能还款的人被拒,失去资金,即漏掉合格者。用合格者透镜,看 Equal Opportunity。

② 算 TPR。城区 320/400 = 0.80,郊区 120/200 = 0.60,差 20 个百分点。郊区能还款的人更容易被拒。

③ 顺手看 FPR。城区 20/100 = 0.20,郊区 10/50 = 0.20,相等。主要问题在 TPR 一侧。

④ 选干预层。模型是供应商黑箱,训练前和训练中都动不了,只能 Post-processing:为郊区调整阈值或校准输出。

⑤ 证据。调整后重跑 SP、EO、PE,报告新的 TPR 差距、FPR 是否被拉开、整体准确率变化,写进文档;上线后按季度复审,盯漂移和反馈回路。还要检查居住地区是否在充当某个受保护属性的代理。

答题格式:方向 → 伤害 → 指标与数字 → 干预层与理由 → 证据与监测,每步一两句。

变式题(先自己做)

自编情境(改编自课件 p.34–35):某市政府从供应商处买了一个福利欺诈风险模型,被标记的人福利会暂停并接受调查。模型无法重新训练。审计发现两组真实无欺诈的人里,被标记的比例差距明显。该优先看哪个指标?能在哪一层干预?干预完拿出什么才算证明问题解决了?

提示

先判断 Ŷ=1 是好事还是坏事,再看伤害落在哪类人身上。供应商黑箱意味着训练前和训练中两层都动不了。

判分点与答案(非官方评分标准)

判分点:① 判断方向;② 说出黑箱只剩预测后这一层;③ 强调重跑检查才算证据;④ 群体 FPR 拉平后仍需个案申诉渠道。

指标:Ŷ=1 是被标记,是坏事;伤害是清白的人被错误惩罚,属于假警报,看 Predictive Equality,比各组 FPR。

干预层:模型无法重训,只能在预测后干预,例如按组调整阈值或校准输出。

证据:调整后重跑 SP、EO、PE 检查,报告新的 FPR 差距和准确率变化,把取舍写进文档;上线后继续监测漂移和反馈回路。被暂停福利的人需要个案申诉渠道,群体比率拉平不能代替它。

闪卡自测

1. p.30 列了哪四种「应该相等」的东西?

TREATMENT、OPPORTUNITY、OUTCOMES、PREDICTION MEANING。前两者加 OUTCOMES 对应 SP 和 EO,PREDICTION MEANING 对应 Sufficiency 族(p.30)。

2. p.34 的三行判题表怎么读?

从左往右:机会被差别分配看 SP(比 SR),合格者更容易被漏掉看 EO(比 TPR),更容易被错误标记惩罚看 PE(比 FPR)(p.34)。

3. 流水线的五个选择点是什么?

DATA、LABELS、FEATURES、OBJECTIVE、THRESHOLD。LABELS 那格的要点是「合格」「有风险」是定义,不是自然事实(p.31)。

4. Pre、In、Post-processing 各对应什么病因和药方?

Pre:历史结构进入数据,药方是重加权或重采样。In:建模选择引入偏差,药方是目标函数加公平惩罚。Post:反馈回路放大差距,药方是调阈值或校准输出(p.32、p.35)。

5. 模型是供应商的黑箱,还能做公平干预吗?

能,只剩 Post-processing:调整阈值或校准输出。课件原话是 when retraining is not possible(p.35)。

6. p.36 的三组数字是什么?能推出什么?

Pre-processing · UCI Adult +0.15/−0.03;In-processing · COMPAS +0.22/−0.05;Post-processing · MIMIC-III +0.12/−0.02。数据集和口径不统一,不能排出方法优劣(p.36)。

7. 一次公平审计需要哪四样输入?

A(敏感群体)、Y(真实标签)、Ŷ(模型预测)、按群体拆开的混淆矩阵。要看群体比率之间的差距,不只看平均性能(p.33)。

8. 发布门禁的四步是什么?

DOC 用 Datasheet 记录数据来源、标签、缺失和已知局限;TEST 按组报告 SP、EO、PE 差距;FIX 在合适阶段干预后重跑检查;WATCH 上线后就漂移和反馈回路重新审计(p.37)。

9. 全讲的收尾句是什么?它否定了哪两种立场?

Fairness work starts with mathematics—and ends with accountability to the people affected by automated decisions。前半句否定「公平没法度量」,后半句否定「算出来达标就行」(p.38)。

下一讲

公平性这一块到这里讲完。课程接下来在 L05a 转向学术诚信,主角从数据和模型换成人和作品,这里定下的路数照样管用:先问该在哪一刻问,再问这个词到底怎么定义。

下一讲 →
L05a L05a 学术诚信入门:三个问题和四根柱子,从剽窃讲起

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。