L03d-1 链条的尽头是一个人:平均准确率不够,代理目标会篡位
从零讲清为什么 integrity 在数据科学里格外要紧:责任链、三个安静的决定、代理目标,以及公平性指标为什么只能支持判断。
一句话版
模型算出的是一个分数,落到现实里是某个人得到或失去一次机会。所以评估要按群体拆开看,还要问模型优化的目标是否代表人的目标;公平性数值只能帮人判断,不能替人判断。
前三页 L03a、L03b、L03c 讲规矩,这一页讲规矩背后的理由。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| recourse | 申诉、补救渠道 | 模型判错了,被判的人有没有办法翻案 |
| 代理指标 | proxy | 真正想要的东西测不到,拿一个测得到的数字顶替 |
| 假阳性 | false positive | 本来不是,却被判成是;人脸识别里就是把 A 认成 B |
| 按群体拆开评估 | disaggregated evaluation | 不只报一个总分,分群体各报一遍 |
| 反馈效应 | feedback effects | 系统的输出流回来变成下一轮的输入,偏差自己放大 |
一个类比:一张错发的停车罚单
交警系统按车牌识别自动开罚单,准确率很高,可某种字体的车牌经常被认错。被认错的车主要请假去申诉,有的人干脆交了钱。写算法的人只调了识别阈值。
能不能申诉、申诉要花多少力气,决定了一次识别错误最后变成多大的伤害。评估时只报总体准确率,那种字体的车主承担了多少错误,就完全看不见。
类比在哪里失效:
- 罚单错了能退钱,错过的工作和贷款补不回来。
- 车牌字体是现成的分组。现实里被误伤的群体往往没有现成标签。
从零讲起
1. 一条链,尽头是一个人
它解决什么问题
数据科学家常把工作理解成数学。课件这一节第一页就说,一个模型可以在数学上完全正确,却仍然造成伤害。要看清原因,得把模型放回它所在的那条链上。
直觉
课件先给四段链条:DATA(我们记录了什么)→ MODEL(我们优化什么)→ DECISION(推荐了什么)→ CONSEQUENCE(人经历了什么)。底部一句:当模型参与把数据变成关于人的决定时,伦理不能是一个附加项。
前三环的主语是「我们」或系统,第四环的主语换成了 someone。做选择的人和承担后果的人不是同一个人,伦理问题就产生在这里。
课件接着把两边摆开。左边是你能调的技术侧:数据与标签、特征与模型形式、目标函数与阈值。右边是决定后果的社会侧:人与机构、历史与不平等的处境、激励、权力与申诉渠道。右边不在你的代码里。
再往下,链条展开成五格:
第五格没有编号,这不是漏印。前四格是你做的选择,第五格是别人承受的结果,它不算流程的一步,因为它不是你的动作。
Integrity Test 问的是:能不能把一个真实后果,沿着产生它的每个设计选择追溯回去?要做到这件事,靠的就是 L03b 的数据护照和 L03c 的三次 PAUSE 留下的记录。
一步一步看
目标:从一位求职者简历被自动筛掉这个结果出发,沿五格一格一格往回追,看每一格是谁做的选择,链条在哪一格因为缺记录而断掉。
案例:一位求职者的简历被系统自动筛掉了。把这个后果沿五格往回追。
- 先写第五格:她经历了什么。
- 往回追第四格:分数在哪里起了作用。
- 追第三格:阈值怎么定的。
- 追第二格:什么被算作成功。
- 追第一格:数据里有谁。
| 步 | 格 | 要问的问题 | 这个案例 |
|---|---|---|---|
| 1 | 承受结果 | 她获得了什么、失去了什么 | 没有进面试,也不知道原因 |
| 2 | 04 部署决策 | 分数在哪里影响了服务或机构 | 分数直接决定谁进面试,没有人工复核 |
| 3 | 03 设阈值 | 谁会被标记或排序 | 只看前若干名,阈值由招聘团队定 |
| 4 | 02 定目标 | 什么被算作成功 | 「像过去被录用的人」被当作「合格」 |
| 5 | 01 选数据 | 谁被代表进来了 | 过去的录用记录,她所在的群体很少 |
哪一格没有记录,这条链就在哪里断掉。
怎么判断
遇到一个模型伤害的场景,先找到第五格的那个人,再一格一格往回追,每一格写出是谁做的选择。追不下去的地方,就是记录缺失的地方。
再问一句 recourse:被判的人有没有办法翻案?没有申诉渠道的系统,错误就是终局。
常见误解
以为模型数学上正确,就不会造成伤害
伤害发生在社会侧:同一个分数,到了不同的人和机构那里含义完全不同,课件称之为 CONTEXT MATTERS。
以为第五格没编号是课件漏印
刻意的。前四格是你的动作,第五格是别人的处境,排版上就把它和流程步骤区分开。
试一下
技术侧和社会侧两栏的第三行,左边是「目标函数与阈值」,右边是「激励、权力与申诉渠道」。为什么这两项对得上?
阈值定在哪里,决定了谁被标记、谁被放过,也就决定了谁需要去申诉、谁只能接受。你在左边调的一个数字,落到右边就是一种权力分配。
2. 三个安静的决定,平均准确率不够
它解决什么问题
一个模型总体准确率很高,大家就放心上线。可总体分数是所有人的平均,某个群体错得多,在平均里根本看不出来。课件用两页讲清偏差从哪里进来、会有多大。
从哪来(补充)
课件只写了「一项对 189 个人脸识别算法的研究」,没给出处。对得上的是美国国家标准与技术研究院(NIST)2019 年 12 月发布的 NISTIR 8280,测了 99 家开发者的 189 个算法。
报告发现,一对一匹配里亚裔和非裔美国人面孔的假阳性率高于白人面孔。差异随具体算法不同,常在 10 到 100 倍之间,并非每个算法都这样。
出处:NIST: Study Evaluates Effects of Race, Age, Sex on Face Recognition Software
直觉
定义句是:A dataset is not a neutral portrait of the world. It is a record of what was captured, named, and checked。数据集是一份关于什么被采集、被命名、被检验过的记录。
三个动词对着三个「安静的决定」:
- COLLECT(captured):谁的数据在里面?采集面窄或不均时,某些群体会被严重低估。
- LABEL(named):什么被当作真相?标签会把历史模式和刻板印象继续传下去。
- TEST(checked):谁被检验过?在不具代表性的人群上测试,会让不均等的误差一直藏到部署之后。
它们安静,是因为发生时没人觉得自己在做伦理决定。TEST 最容易被忽略。
下一页的结论是 Accuracy on average is not enough。在警务应用里,更高的假阳性率可能让某些群体被不成比例地错误逮捕。一个平均分可能根本看不出风险由谁承担。
一步一步看
目标:用一个简历筛选模型逐个检查采集、标签、测试三个安静的决定,看偏差分别从哪里进来,以及总体准确率为什么照样好看。
案例:一家公司用过去多年的录用记录训练简历筛选模型,上线前只报了一个总体准确率。三个安静的决定,一个一个看。
-
看采集:谁的数据在里面?只有过去投过简历并被记录的人,投递少的群体样本很稀。
-
看标签:什么被当作真相?「当年被录用」被当成「合格」,过去的录用偏好直接变成了标签。
-
看测试:谁被检验过?测试集从同一批记录里切出来,带着同一种偏差,所以总体分数照样好看。
怎么判断
拿到一份评估报告,先看它是否按群体拆开报。只有一个总分,就要追问各相关群体的误差分别是多少,尤其是假阳性和假阴性各自的差异。
再逐个过三个安静的决定。还要看部署场景:同样是假阳性,解锁手机时是安全问题,警务比对时就是一个无辜的人被指认。
常见误解
以为总体准确率高,每个群体也都不错
平均会把少数群体的高错误率稀释掉,部分群体高出十倍以上的假阳性率,在平均分里完全看不出来。
以为测试集是随机切出来的,就没有偏差
随机切分只保证测试集和训练集相似,训练集的偏差会原样复制进测试集。偏差没被修好,也没被看见。
试一下
一个皮肤病识别模型总体准确率很高,训练和测试图片几乎都来自浅肤色患者。三个安静的决定里,问题主要出在哪几处?
COLLECT:深肤色患者的数据很少。TEST:测试集同样几乎没有深肤色患者,所以误差藏到部署之后才会暴露。评估应补充深肤色患者的样本并分开报误差。
3. 代理目标会篡位,公平性指标只能支持判断
它解决什么问题
模型优化的永远是一个测得到的数字。人真正想要的东西往往测不到。课件先讲这个缝隙怎样被撑大,再讲为什么公平性数值也补不上它。
从哪来(补充)
这个现象有一个现成的名字:Goodhart 定律。经济学家 Charles Goodhart 在 1975 年讨论英国货币政策时提出原始版本。
常被引用的那句「When a measure becomes a target, it ceases to be a good measure」,是人类学家 Marilyn Strathern 在 1997 年的概括:一个度量一旦变成目标,就不再是好的度量。
直觉
课件分三环:TARGET(一个代理、分数或指标变成了「成功」的定义)→ ACTION(系统按它去排序、推荐、标记或分配)→ OUTCOME(反馈效应与情境造出没有人想要的结果)。
Integrity Test 是:别停在「它能用吗」,要问这个目标是否代表了人的目标,以及它不代表时谁会受害。判断系统会不会自我放大,先问它的输出会不会流回它的输入。
公平性那一页把问题分成两栏:
| 模型能告诉我们的 | 必须由人来决定的 |
|---|---|
| 是否存在表现差异? | 对谁而言公平? |
| 指标有没有改善? | 在什么社会情境下? |
| 哪些误差类型在变化? | 对照什么样的历史与结果? |
Key idea:公平性指标可以 inform 一个判断,不能 replace「在具体情境里定义正义要求什么」这项人的工作。右栏三问没有一个能靠看数据回答。
一步一步看
目标:拿视频平台的观看时长走一遍目标、行动、结果三环,看代理怎样变成成功的定义、反馈怎样放大偏差,公平性指标又补不上哪一块。
案例:一家视频平台把「观看时长」当作「内容对用户有价值」的代理,推荐算法据此优化。
- 先写 TARGET:代理是什么,它顶替了什么。
- 再写 ACTION:系统据此做了什么。
- 再写 OUTCOME:有没有反馈效应。
- 最后问公平性指标能不能救场。
| 步 | 环 | 这个案例 |
|---|---|---|
| 1 | TARGET | 观看时长顶替了「内容有价值」,慢慢变成成功的定义本身 |
| 2 | ACTION | 推荐更容易让人停不下来的内容 |
| 3 | OUTCOME | 用户看得越多,越多同类内容进入训练数据,推荐越来越偏,这是反馈效应 |
| 4 | 公平性指标 | 能告诉你不同用户群的时长差异,不能告诉你「有价值」该怎么定义,这要和人谈 |
怎么判断
看到一个优化目标,先写出它代理的人的目标,再问两者在哪里分开、受害的是谁。
看到一个公平性数值,问它回答的是左栏还是右栏的问题。它只能回答左栏;右栏的三问要靠和受影响的人、了解情境的人讨论。
常见误解
以为分数一直在涨,就说明系统越来越好
涨的是代理。代理一旦进入优化循环,就可能和真实目标越走越远,分数在变好,人的处境在变差。
以为挑一个公平性指标达标,系统就公平了
指标只能支持判断。选哪个指标本身就是价值判断,对谁公平、在什么情境下、对照什么历史,这些要由人来定。
试一下
一所学校用「学生评教分数」代理「教学质量」,并据此决定老师的续聘。可能出现什么代理篡位的问题?
评教分数变成成功的定义本身,老师可能被激励去放宽评分、减少作业来换高分,真实的教学质量反而下降。要问评教分数是否代表了「学生学到东西」这个人的目标,以及不代表时谁受害(学生,以及坚持高要求的老师)。
把它们串起来
这一页的理由只有一个:模型的链条尽头是一个人。
前四格是我们的选择,第五格是别人的结果。偏差在三个安静的决定里进来,平均分把它藏住,所以要按群体拆开评估。目标只是代理,公平性指标只能支持判断。
这些问题要能被追问,前提是每一格的选择都留下了记录。下一页 L03d-2 接着讲怎样让判断可见,以及上线前该问的三个 P。
课件里的坑
- [排版是内容] p.27 五格只编号到 04,第五格不编号是刻意的,考题会问这个差异说明什么
- [缺出处] p.29 只写 REPORTED TESTING EVIDENCE 和 189 个算法,没给来源;对应 NIST 2019 年的 NISTIR 8280,而且 10–100 倍差异随算法而异,不是每个算法都如此
- [没点名] p.30 说的就是 Goodhart 定律,课件没用这个名字,答题可以用上
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,默写四段链条、五格责任链、三个安静的决定和代理三环。然后做「变式题」,四问各用一个工具。最后回查两个最容易错的地方:以为第五格没编号是漏印、以为总体准确率高每个群体也都不错。
必背
- 模型不只是数学,它是一条链:DATA → MODEL → DECISION → CONSEQUENCE;前四格是我们的选择,第五格是别人承受的结果
- 三个安静的决定 COLLECT、LABEL、TEST 决定模型看不看得清一个群体;TEST 这一条会让不均等的误差藏到部署之后
- 平均准确率不够——NIST 对 189 个人脸识别算法的测试里,部分群体的假阳性率高出 10–100 倍(随算法而异),评估必须按群体拆开看
- 分数变好不等于人的处境变好:代理指标进入优化循环后,会变成成功的定义本身
- 公平性指标能支持判断(inform),不能替代判断(replace)
课件例题
例 1(课件 p.29):一项对 189 个人脸识别算法的研究发现,跨人口统计群体的假阳性差异达 10–100 倍。这说明了什么?对评估提出什么要求?
提示
想一想「假阳性」在警务比对里意味着什么,再看页面右图配的那句关于平均分的话。
解答
同一个系统,在不同群体上的误差模式可以完全不同。在警务应用里,更高的假阳性率意味着某些群体可能被不成比例地错误逮捕,后果的性质由部署场景决定。
一个平均分看不出风险由谁承担,所以平均准确率不够。评估必须按群体拆开看,同时找不均等的表现和不均等的后果。
引用时补上出处 NISTIR 8280,并说明差异随算法而异。
完整例题
题面(自编情境,不是课件原题):某城市警局用过去多年的报警和逮捕记录训练模型,预测哪些街区「需要加派巡逻」,分数高的街区巡逻更多。开发时把「逮捕次数」当作「犯罪多」的信号,上线前只报告了一个总体准确率。请分别用五格责任链、三个安静的决定和代理三环各分析一遍,说明公平性指标在这里能做什么,并区分已知事实和待核实风险。
约定:题面没给准确率和各街区的数字,不编造;题面没说的事实写成「需核实」。三套工具没有固定的先后,下面的顺序只是一种写法。
解法:
- 五格责任链:第五格是被加派巡逻街区的居民,他们被盘查得更多,可能被错误怀疑甚至错误逮捕。往回追:04 部署决策,分数直接决定巡逻安排,有没有人工复核需核实;03 设阈值,多高的分数算「需要加派」、由谁定,需核实;02 定目标,「逮捕多」被算作「犯罪多」;01 选数据,记录只覆盖过去被巡逻、被报警的地方。
- 三个安静的决定:COLLECT,过去巡逻多的街区记录多,巡逻少的街区即使有犯罪也少被记下。LABEL,「被逮捕」被当成「犯罪发生」,过去执法的偏重直接变成了标签。TEST,测试集若从同一批记录里切出,带着同一种偏差,总体准确率照样好看。
- 代理三环:TARGET 是逮捕次数,顶替了「实际犯罪」。ACTION 是给高分街区加派巡逻。OUTCOME 是反馈效应:巡逻越多,逮捕记录越多,下一轮分数越高,偏差自己放大。
- 公平性指标:能告诉你不同街区、不同群体的误报是否有差异,指标有没有改善;对谁公平、在什么社会情境下、对照什么历史,要和居民及了解情境的人讨论。
- 结论:已知事实是用了逮捕记录做代理、只报了总体准确率;待核实的是阈值由谁定、有没有人工复核、各群体误差多少。按现状不宜直接上线:先按街区和群体拆开评估,并检查模型的输出会不会流回它的输入。
要点:突破口是逮捕次数这个代理,它既是模型的判断依据,又是下一轮的训练数据,所以偏差会自己放大。
答题格式:三套工具各成一段,公平性指标单写一段,最后一段区分已知和待核实,给出改进。
变式题(先自己做)
自编情境:一家外卖平台用「准时送达率」给骑手打分,分数低的骑手少派单。训练和测试数据都来自市中心的订单,平台对外只报一个总体准确率。
(1) 沿五格往回追,哪一格的选择最可疑?(2) 三个安静的决定里,哪两处最可能出问题?(3) 准时送达率代理了什么?会不会出现反馈效应?(4) 一个公平性指标显示「各区骑手的平均分差不多」,能不能据此说系统公平?
提示
(1) 什么被算作「好骑手」?(2) 郊区的订单在数据里吗?测试集又从哪来?(3) 少派单的骑手,下一轮数据会变成什么样?(4) 这个指标回答的是左栏还是右栏的问题?
判分点与答案(非官方评分标准)
判分点:① 点出 02 定目标;② 指出 COLLECT 和 TEST;③ 说清反馈效应怎样形成;④ 说明公平性指标只能支持判断。
(1) 02 定目标。「准时」被算作「送得好」,路程远、天气差这些骑手控制不了的因素,都算到了骑手头上。
(2) COLLECT 和 TEST。数据只来自市中心,郊区订单几乎没有;测试集同样来自市中心,郊区骑手的误差要到部署之后才会暴露。
(3) 代理的是「骑手服务好不好」。分数低的骑手被少派单,订单少、样本更稀,分数更难回升,输出流回了输入,这就是反馈效应。
(4) 不能。平均分接近只回答了「是否存在表现差异」这类左栏问题,而且平均可能藏住某些骑手群体的高误差;对谁公平、在什么情境下,要和骑手一起讨论。
闪卡自测
1. 四段链条是什么?伦理问题产生在哪里?
DATA → MODEL → DECISION → CONSEQUENCE。前三环主语是我们,第四环主语换成 someone,做选择的人和承担后果的人不是同一个人(p.25)。
2. 五格责任链为什么只编号到 04?Integrity Test 是什么?
前四格是我们的选择,第五格是别人承受的结果,不是我们的动作。Integrity Test:能否把真实后果沿每个设计选择追溯回去(p.27)。
3. 三个安静的决定是什么?哪一条会让偏差藏到部署之后?
COLLECT、LABEL、TEST。TEST:测试人群不具代表性时,不均等的误差会一直藏到部署之后(p.28)。
4. 10–100× 指的是什么?说明了什么?
一项 189 个人脸识别算法的研究里,跨人口统计群体的假阳性差异。说明平均准确率不够,评估要按群体拆开看(p.29)。
下一讲
本讲下一页 L03d-2 讲怎样让判断可见:两套四步为什么要内建进开发过程,以及上线前该问的 PEOPLE、POWER、PROOF 三个 P。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。