L02b-1 错配在各行各业重演:代理指标与自我实现的预言
从零讲清算法为什么会「达标却害人」:它只能优化测得到的代理指标;再看招聘、学校评分、预测性警务三个场景里,预测怎样改写现实、改写数据的采集方式。
一句话版
算法只能优化测得到的东西,人真正要的往往测不到。两者之间的缺口叫错配。模型一旦开始改变人被对待的方式,错配还会把自己变成现实。
前一页用 2008 年演完了三支柱。这一页把同一个模式搬出金融业,看它在教师评估、招聘、学校、警务里怎样重演。下一页再回答「怎么办」。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 代理指标 | proxy metric | 拿来代替真实目标、但能被测量的那个数 |
| 错配 | mismatch | 作者定义的成功和受影响者真正的目标对不上 |
| 自我实现的预言 | self-fulfilling prophecy | 预测改变了对人的对待,现实于是跟着预测走 |
| 预测性警务 | Predictive Policing | 用模型决定把警力派到哪里 |
| 再犯预测 | Recidivism Scoring | 给被告打「会不会再犯」的分,供法官参考 |
一个类比:健身房只看体重秤
一家健身房按「会员体重降了多少」给教练发奖金。会员要的是更健康,体重只是其中一个能当场称出来的数。
于是有的教练让会员节食脱水,秤上的数字很好看,会员的身体并没有变好。教练没有作弊,他把被考核的那个数做到了最好。考核的是体重,想要的是健康,这就是错配。
再往下推一步。如果健身房按奖金高低给教练排课,高奖金的教练拿到更多会员,节食法被推广到更多人身上。考核方式本身就在改变谁在用什么方法。
类比在哪里失效:
- 会员能退卡、换一家;被算法打分的人常常不知道自己被打分,也没有第二家可选。
- 秤上的数字不会反过来改变会员的体重;算法的标签会改变人被对待的方式,标签于是自己应验。
从零讲起
1. 代理指标错配
它解决什么问题
一个算法明明「达标」了,为什么受影响的人还是吃亏?这个概念把原因落到目标定义那一层:算法优化的那个数,和人真正想要的东西,从一开始就不是同一个。
直觉
算法要优化,就得有一个能算出来的数。可很多人真正在乎的东西算不出来:教学质量、公平的机会、真正的职业发展。于是作者挑一个能测的数顶替它,这个替身就是代理指标。
替身和真身之间总有缝。算法越用力优化替身,就越可能把缝撑大,正像教练越用力减体重,越可能伤了会员的身体。
课件用一张表把这个错配在五个行业里各演一遍:
| 领域 | 作者定义的成功 | 受影响者真正的目标 |
|---|---|---|
| Teacher Evaluation 教师评估 | 标准化考试分数的提升 | 教学质量得到公平认可 |
| Job Applications 求职申请 | 性格测试的匹配分 | 一个公平的被录用机会 |
| Recidivism Scoring 再犯预测 | 预测再次被捕的概率 | 无偏、准确的风险评估 |
| For-Profit College Ads 营利性大学广告 | 学生报名数即收入 | 真正的职业发展 |
| Credit Scoring 信用评分 | 最小化放贷方违约风险 | 获得公平的金融机会 |
五行的左列都是可测量的代理指标,右列都是难以测量的真实目标。
一步一步看
目标:拿教师评估一行找出真实目标和代理指标之间的缝,看为何换更准的模型也修不好。
拿表里第一行教师评估,一步一步找错配。
-
写出受影响者真正的目标:教师希望自己的教学质量被公平认可。
步骤 内容 真实目标 教学质量被公平认可 -
写出算法实际优化的东西:学生标准化考试分数的提升。
步骤 内容 真实目标 教学质量被公平认可 代理指标 考试分数提升 -
找两者之间的缝:分数还受学生家庭、班级起点、考试当天状态影响,这些都不归教师管。一位接手基础薄弱班级的好老师,分数可能涨得慢。
步骤 内容 真实目标 教学质量被公平认可 代理指标 考试分数提升 缝在哪 分数还受教师管不到的因素影响 -
问动机:这个错配是无意选错了替身,还是故意的?教师评估这一行大体是无意。对照第四行营利性大学广告,它以报名数即收入为成功,错配是故意的。
-
下结论:换一个更准的模型修不好它,因为模型再准也只是把考试分数测得更准。要动的是成功定义本身。
怎么判断
拿到一个系统,按三步找错配:
- 受影响的人真正想要什么?用一句人话写出来。
- 算法实际在优化哪个数?
- 这个数还受哪些因素影响,是受影响者管不到的?
第三步列得出东西,错配就存在。最后再问一句动机:是选错了替身,还是替身本来就是目的。
常见误解
以为换个更准的模型就能修好错配
错配发生在目标定义那一层,模型再准也只是把错的目标测得更准。再犯预测那一行就是例子:它优化的是「会不会再被捕」,被捕率本身又受警力部署影响。
以为五行都是「不小心选错了指标」
营利性大学广告那一行和其余四行不同:它的错配是故意的,广告投放的目标本来就是收入。同样的技术结构,动机可以是疏忽,也可以是掠夺。道德评价不同,造成的伤害可能相同。
试一下
一个短视频平台按「用户停留时长」优化推荐。用三步找错配。
真实目标:用户想看到对自己有用或真正喜欢的内容。代理指标:停留时长。缝在哪:时长也会被争议、焦虑、停不下来的刷屏拉长,这些不等于用户满意。错配存在,而且平台的收入和时长挂钩,动机上更接近营利性大学广告那一行。
2. 预测怎样把自己变成现实
它解决什么问题
上一页的回路是「有偏的数据训练出有偏的模型」。这一节的回路更进一步:模型的标签改变了人被对待的方式,或者改变了数据被采集的地方,现实于是跟着预测走。
直觉
学校评分场景里,一个学生被标成「低潜力」。老师和学校给他的支持变少,他下一次考得更差,分数于是「证明」了计算机是对的。课件说这套数学连专家都解释不了,一个数据故障就能开除一位优秀教师,或者给一个学生贴上这张标签,而且没有人工申诉的机会。
预测性警务走得更远。模型把警察派到某个区域,警察在那里发现更多犯罪,这些记录回流到模型,模型再派更多警察过去。警力部署决定了哪里的犯罪被记录下来,所以「犯罪率」这份数据本身就带着模型上一轮的判断。
一步一步看
目标:沿预测性警务的回路追问每步数据从哪来,看部署怎样让预测自己应验。
拿预测性警务,沿回路走一圈,每步问「数据是从哪里来的」。
-
起点:模型根据历史记录,判断 A 区犯罪多、B 区犯罪少。
区域 模型判断 派警 A 区 犯罪多 多 B 区 犯罪少 少 -
派警:A 区来了更多警察,B 区几乎没人巡逻。
-
记录:A 区的轻微违法被大量记下来;B 区就算发生同样的事,也没人看见、没人记。
区域 实际发生 被记录 A 区 有 大量 B 区 有 很少 -
回流:新的记录进入训练,A 区「犯罪更多」的结论被加固。模型的输出决定了下一轮输入在哪里采集。
-
对照学校评分:那里是标签改变了对待,这里是部署改变了数据的采集。两种都让预测自己应验。
怎么判断
判断一个系统会不会陷入回路,问一句通用判据:模型的输出会不会影响下一轮输入的采集方式?
- 会影响「对人的对待」,比如支持变少、机会变少,就有自我实现的风险。
- 会影响「在哪里看、记什么」,比如派警、审核、抽查,就有采集偏差的风险。
- 两样都不影响,回路的条件就不成立,危害要另找。
推荐系统、风控系统、内容审核系统都要过这一问。
常见误解
以为只有训练数据有偏才会出回路
通用判据是:模型的输出会不会影响下一轮输入的采集方式。预测性警务的历史数据就算一开始没偏,部署方式也会让新数据越来越偏。
以为回路一定已经发生
回路要有成立条件:输出真的回到了下一轮训练或下一轮决策里。题面没写回流机制时,答题要写成「如果……就会形成回路」,不能当成已发生的事实。
试一下
一个内容审核模型把某类账号判为「高风险」,这类账号的帖子于是被人工抽查得更频繁,抽查发现的违规又进入下一轮训练。用通用判据判断它会不会陷入回路。
会。模型的输出(高风险)决定了人工在哪里看(抽查更频繁),抽查得越多,记录到的违规越多,这些记录又回到训练里。这和预测性警务是同一种采集偏差。其他账号同样的违规因为没人抽查,没进数据。
把它们串起来
前一页用 2008 年演完三支柱,这一页把同一个模式搬出金融业。
先是错配表,五个行业的结构完全一样:左边测得到,右边测不到。营利性大学广告那一行提醒你,错配也可以是故意的。
接着是三个场景。招聘把合格的人无解释地挡在门外。学校评分把标签执行成现实。预测性警务说明模型还能改写数据的采集方式。判断这些回路只用一句话:输出会不会影响下一轮输入的采集。
下一页回答「怎么办」:公众的三条防御,以及为什么规则管不到造模型的人。
课件里的坑
- [补充] p.27 那张表在幻灯片上缩得很小,五行要按「领域 / 作者定义的成功 / 受影响者真正的目标」三列读,别把左右两列读反
- [补充] p.28 的「一千份简历几秒筛完」是课件的情境题,不是某家公司的真实数据;实证支撑用 p.14 亚马逊招聘工具的报道
- [补充] 本页「一步一步看」里 A 区、B 区的对照是为了演示 p.30 的回路编的,课件没有给具体区域
- [口径差异] p.29 说一个数据故障就能开除一位优秀教师,这是课件对风险的描述,不是某个具体案例的结果
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条:错配表五行、自我实现回路的四个节点、判断回路的通用判据。再做下面的「变式题」。最后回查两个最容易错的地方:以为换更准的模型就能修好错配、把没写回流机制的情境直接说成已形成回路。
Online Quiz 偏向有唯一答案的点:错配表左右两列各是什么类型、哪一行的错配是故意的。Written Assignment 更可能给一个陌生行业的系统,让你找错配、找回路。
必背
- 错配的一般形式:算法优化能测量的代理指标,受影响者关心的却是它测不到的那个目标
- 两个反馈回路场景:招聘把合格者无解释地挡在市场外,学校评分把「低潜力」标签执行成真
- 营利性大学广告那一行的错配是故意的:同样的技术结构,动机可以是疏忽,也可以是掠夺
- 判断回路的通用判据:模型的输出会不会影响下一轮输入的采集方式
- 预测性警务里,警力部署决定了哪里的犯罪被记录下来,犯罪率这份数据本身带着模型上一轮的判断
课件例题
例 1(课件 p.28):Job Hunt,AI 几秒筛完一千份简历
见下方完整例题。
例 2(课件 p.29):School Score,算法给教师和学生打分
题面:算法根据考试数据给教师和学生评分,目标是「效率」,但这套数学连专家都解释不了。一个数据故障就能开除一位优秀教师,或把一个学生标成「低潜力」,没有人工申诉或补充说明的机会。被标成「低潜力」的学生得到的支持变少,分数更低,「证明」了计算机是对的。这个回路和数据污染型回路有什么不同?该用哪条防御?
提示
先看回路里是哪一步改变了现实:是数据本身有偏,还是标签改变了对学生的对待?再看题面点名缺了什么。
解答
数据污染型回路是有偏数据训练出有偏模型。这里是标签改变了对学生的实际对待,预测被执行成真,是自我实现预言最纯粹的形态。
题面点名「没有人工申诉」,最直接的解药是 Human Oversight:一条能触发人工复核的规则,可以在标签变成现实之前把它拦下。Ask Questions 同样适用,因为连专家都解释不了这套数学。三条防御的细节见下一页。
例 3(课件 p.30):Predictive Policing 与打破回路的三条防御
题面:模型把警察派到某个区域,警察在那里发现更多犯罪,这些数据回流到模型,模型再派更多警察过去。这个回路比「学到有偏数据」多了什么?公众能用哪三条防御?
提示
用本页的通用判据:模型的输出有没有影响下一轮输入从哪里采集。防御的三条英文名都在 p.30 上。
解答
多的是:模型改变了数据的生成过程。警力部署决定了哪里的犯罪被记录下来,于是「犯罪率」这份数据本身就带着模型上一轮的判断。通用判据是看模型的输出会不会影响下一轮输入的采集方式。
三条防御:Ask Questions 追问「这个决定是怎么做出来的」;Demand Audits 让独立方检查偏差与错误;Human Oversight 让重大决定保留人的同理心与申诉。课件的总纲是 Efficiency vs. Fairness,技术要服务于人,不只是服务于速度和利润。
完整例题
课件 p.28 原题:一家公司收到 1,000 份简历,不用人工,用 AI 筛选器在几秒内根据历史数据挑出「最好的」候选人。它拿以往员工的画像训练,会自动惩罚在历史数据里代表性不足的多元或非传统背景候选人,例如女性或少数族裔。合格的人被瞬间挡在就业市场之外,得不到任何解释。请判断它是否构成 WMD,并找出它的错配和回路。
① 找错配:作者定义的成功是「像以往员工」,候选人真正要的是一个公平的被录用机会。这正是错配表第二行。
② 逐条查三支柱。Opacity:被拒绝且不知道为什么,得不到任何解释。Scale:一千份简历几秒筛完,每家用同类工具的公司都这么做。Damage:合格的人被挡在就业市场之外,而且历史上代表性不足的群体首当其冲。三条都有题面支持。
③ 画回路:被筛掉的人进不了公司,下一轮训练用的「以往员工」画像仍然缺这类人,模型继续惩罚他们。用通用判据核一遍:模型的输出(谁被录用)决定了下一轮训练数据里有谁,回路成立。
④ 结论:按题面描述它构成 WMD。答题时抽象机制用这一页,实证支撑用亚马逊招聘工具的报道。对策分公众和从业者两层,见下一页。
答题格式:错配一句(左列 / 右列),三支柱各一句证据,回路画成带箭头的一行,最后一句结论。
变式题(先自己做)
自编情境:某城市上线一套算法,根据居民的水电缴费记录、社区投诉记录和社交媒体活跃度,给每户家庭生成一个「社区风险分」,用于分配社工上门访视的名额。
(1) 用审查三问拆开它。(2) 指出它的代理指标错配在哪。(3) 它有没有可能形成反馈回路?需要什么条件?
提示
先问「风险」这个词是谁定义的,再问三类数据各自在替什么东西打分。回路只有在访视结果再次进入训练时才成立。
参考答案与自检(非官方评分标准)
自检要点:① 三问都落到具体的人;② 错配要写出左列和右列;③ 回路要写出成立条件,不能当成已发生的事实。
(1) 谁建的:市政部门和供应商,他们自己不被这个分数评估。怎么定义成功:题面没说,这正是要追问的地方,可能是「访视名额用在最可能出事的家庭」。谁不在场:被打分的住户,他们不知道分数存在,也没有参与定义「风险」。
(2) 左列是能测量的东西:缴费是否按时、被投诉次数、社交媒体活跃度。右列是社工真正想帮到的人:真正需要支持的家庭。缴费延迟可能反映经济困难,投诉次数可能反映邻里关系,活跃度和需要支持几乎没有直接关系。
(3) 有可能。如果被访视过的家庭留下更多记录,这些记录又回到训练里,模型就会更确信同一批家庭「高风险」,这和预测性警务是同一种采集偏差。题面没给回流机制,答题时要写成条件,不能写成已发生。
闪卡自测
1. 错配表五行的共同结构是什么?
左列都是能测量的代理指标,右列都是难以测量的真实目标(p.27)。
2. 营利性大学广告那一行和其余四行有什么不同?
其余四行大体是选了不完美的代理指标,属于无意;这一行以报名数即收入为成功,错配是故意的。道德评价不同,造成的伤害可能相同(p.27)。
3. Job Hunt 场景里合格的人为什么被挡在门外?
筛选器用以往员工的画像训练,自动惩罚历史上代表性不足的候选人,被拒者得不到任何解释(p.28)。
4. School Score 场景的回路是哪四步?
标成「低潜力」→ 得到的支持变少 → 分数更低 →「证明」计算机是对的。没有人工申诉,这一圈就没有出口(p.29)。
5. 判断一个系统会不会陷入回路的通用判据是什么?
看模型的输出会不会影响下一轮输入的采集方式。预测性警务就是例子:警力部署决定了犯罪数据从哪里采集(p.30)。
下一讲
下一页回答「怎么办」:公众的三条防御、职业标准五要素,以及为什么规则管不到造模型的人:L02b-2。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。