← DSAI5T09 全部讲次
L02b-1 · 第 2 周

L02b-1 错配在各行各业重演:代理指标与自我实现的预言

从零讲清算法为什么会「达标却害人」:它只能优化测得到的代理指标;再看招聘、学校评分、预测性警务三个场景里,预测怎样改写现实、改写数据的采集方式。

一句话版

算法只能优化测得到的东西,人真正要的往往测不到。两者之间的缺口叫错配。模型一旦开始改变人被对待的方式,错配还会把自己变成现实。

前一页用 2008 年演完了三支柱。这一页把同一个模式搬出金融业,看它在教师评估、招聘、学校、警务里怎样重演。下一页再回答「怎么办」。

先认识这几个词

词 全称 / 读法 一句人话
代理指标 proxy metric 拿来代替真实目标、但能被测量的那个数
错配 mismatch 作者定义的成功和受影响者真正的目标对不上
自我实现的预言 self-fulfilling prophecy 预测改变了对人的对待,现实于是跟着预测走
预测性警务 Predictive Policing 用模型决定把警力派到哪里
再犯预测 Recidivism Scoring 给被告打「会不会再犯」的分,供法官参考

一个类比:健身房只看体重秤

一家健身房按「会员体重降了多少」给教练发奖金。会员要的是更健康,体重只是其中一个能当场称出来的数。

于是有的教练让会员节食脱水,秤上的数字很好看,会员的身体并没有变好。教练没有作弊,他把被考核的那个数做到了最好。考核的是体重,想要的是健康,这就是错配。

再往下推一步。如果健身房按奖金高低给教练排课,高奖金的教练拿到更多会员,节食法被推广到更多人身上。考核方式本身就在改变谁在用什么方法。

类比在哪里失效:

  1. 会员能退卡、换一家;被算法打分的人常常不知道自己被打分,也没有第二家可选。
  2. 秤上的数字不会反过来改变会员的体重;算法的标签会改变人被对待的方式,标签于是自己应验。

从零讲起

1. 代理指标错配

它解决什么问题

一个算法明明「达标」了,为什么受影响的人还是吃亏?这个概念把原因落到目标定义那一层:算法优化的那个数,和人真正想要的东西,从一开始就不是同一个。

直觉

算法要优化,就得有一个能算出来的数。可很多人真正在乎的东西算不出来:教学质量、公平的机会、真正的职业发展。于是作者挑一个能测的数顶替它,这个替身就是代理指标。

替身和真身之间总有缝。算法越用力优化替身,就越可能把缝撑大,正像教练越用力减体重,越可能伤了会员的身体。

左列三个测得到的代理指标:考试分数提升、再次被捕的概率、报名人数即收入;右列对应三个测不到的真实目标;中间的青绿框标出两列之间的缺口,叫错配,算法只能优化左边这一列

课件用一张表把这个错配在五个行业里各演一遍:

领域 作者定义的成功 受影响者真正的目标
Teacher Evaluation 教师评估 标准化考试分数的提升 教学质量得到公平认可
Job Applications 求职申请 性格测试的匹配分 一个公平的被录用机会
Recidivism Scoring 再犯预测 预测再次被捕的概率 无偏、准确的风险评估
For-Profit College Ads 营利性大学广告 学生报名数即收入 真正的职业发展
Credit Scoring 信用评分 最小化放贷方违约风险 获得公平的金融机会

五行的左列都是可测量的代理指标,右列都是难以测量的真实目标。

一步一步看

目标:拿教师评估一行找出真实目标和代理指标之间的缝,看为何换更准的模型也修不好。

拿表里第一行教师评估,一步一步找错配。

  1. 写出受影响者真正的目标:教师希望自己的教学质量被公平认可。

    步骤 内容
    真实目标 教学质量被公平认可
  2. 写出算法实际优化的东西:学生标准化考试分数的提升。

    步骤 内容
    真实目标 教学质量被公平认可
    代理指标 考试分数提升
  3. 找两者之间的缝:分数还受学生家庭、班级起点、考试当天状态影响,这些都不归教师管。一位接手基础薄弱班级的好老师,分数可能涨得慢。

    步骤 内容
    真实目标 教学质量被公平认可
    代理指标 考试分数提升
    缝在哪 分数还受教师管不到的因素影响
  4. 问动机:这个错配是无意选错了替身,还是故意的?教师评估这一行大体是无意。对照第四行营利性大学广告,它以报名数即收入为成功,错配是故意的。

  5. 下结论:换一个更准的模型修不好它,因为模型再准也只是把考试分数测得更准。要动的是成功定义本身。

怎么判断

拿到一个系统,按三步找错配:

  1. 受影响的人真正想要什么?用一句人话写出来。
  2. 算法实际在优化哪个数?
  3. 这个数还受哪些因素影响,是受影响者管不到的?

第三步列得出东西,错配就存在。最后再问一句动机:是选错了替身,还是替身本来就是目的。

常见误解

以为换个更准的模型就能修好错配

错配发生在目标定义那一层,模型再准也只是把错的目标测得更准。再犯预测那一行就是例子:它优化的是「会不会再被捕」,被捕率本身又受警力部署影响。

以为五行都是「不小心选错了指标」

营利性大学广告那一行和其余四行不同:它的错配是故意的,广告投放的目标本来就是收入。同样的技术结构,动机可以是疏忽,也可以是掠夺。道德评价不同,造成的伤害可能相同。

试一下

一个短视频平台按「用户停留时长」优化推荐。用三步找错配。

真实目标:用户想看到对自己有用或真正喜欢的内容。代理指标:停留时长。缝在哪:时长也会被争议、焦虑、停不下来的刷屏拉长,这些不等于用户满意。错配存在,而且平台的收入和时长挂钩,动机上更接近营利性大学广告那一行。

2. 预测怎样把自己变成现实

它解决什么问题

上一页的回路是「有偏的数据训练出有偏的模型」。这一节的回路更进一步:模型的标签改变了人被对待的方式,或者改变了数据被采集的地方,现实于是跟着预测走。

直觉

学校评分场景里,一个学生被标成「低潜力」。老师和学校给他的支持变少,他下一次考得更差,分数于是「证明」了计算机是对的。课件说这套数学连专家都解释不了,一个数据故障就能开除一位优秀教师,或者给一个学生贴上这张标签,而且没有人工申诉的机会。

学校评分的自我实现回路,四个方框顺时针:算法把学生标成低潜力、得到的支持变少、下一次考试分数更低、分数证明计算机是对的,青绿箭头标出第一条边,标签改变了学生被对待的方式

预测性警务走得更远。模型把警察派到某个区域,警察在那里发现更多犯罪,这些记录回流到模型,模型再派更多警察过去。警力部署决定了哪里的犯罪被记录下来,所以「犯罪率」这份数据本身就带着模型上一轮的判断。

预测性警务的反馈回路,四个方框顺时针:模型预测某区域犯罪多、派更多警察去这个区域、这里记录到更多犯罪、数据回流进下一轮训练,青绿箭头标出派警到记录那条边,警力部署决定了犯罪从哪里被记下来

一步一步看

目标:沿预测性警务的回路追问每步数据从哪来,看部署怎样让预测自己应验。

拿预测性警务,沿回路走一圈,每步问「数据是从哪里来的」。

  1. 起点:模型根据历史记录,判断 A 区犯罪多、B 区犯罪少。

    区域 模型判断 派警
    A 区 犯罪多 多
    B 区 犯罪少 少
  2. 派警:A 区来了更多警察,B 区几乎没人巡逻。

  3. 记录:A 区的轻微违法被大量记下来;B 区就算发生同样的事,也没人看见、没人记。

    区域 实际发生 被记录
    A 区 有 大量
    B 区 有 很少
  4. 回流:新的记录进入训练,A 区「犯罪更多」的结论被加固。模型的输出决定了下一轮输入在哪里采集。

  5. 对照学校评分:那里是标签改变了对待,这里是部署改变了数据的采集。两种都让预测自己应验。

怎么判断

判断一个系统会不会陷入回路,问一句通用判据:模型的输出会不会影响下一轮输入的采集方式?

  1. 会影响「对人的对待」,比如支持变少、机会变少,就有自我实现的风险。
  2. 会影响「在哪里看、记什么」,比如派警、审核、抽查,就有采集偏差的风险。
  3. 两样都不影响,回路的条件就不成立,危害要另找。

推荐系统、风控系统、内容审核系统都要过这一问。

常见误解

以为只有训练数据有偏才会出回路

通用判据是:模型的输出会不会影响下一轮输入的采集方式。预测性警务的历史数据就算一开始没偏,部署方式也会让新数据越来越偏。

以为回路一定已经发生

回路要有成立条件:输出真的回到了下一轮训练或下一轮决策里。题面没写回流机制时,答题要写成「如果……就会形成回路」,不能当成已发生的事实。

试一下

一个内容审核模型把某类账号判为「高风险」,这类账号的帖子于是被人工抽查得更频繁,抽查发现的违规又进入下一轮训练。用通用判据判断它会不会陷入回路。

会。模型的输出(高风险)决定了人工在哪里看(抽查更频繁),抽查得越多,记录到的违规越多,这些记录又回到训练里。这和预测性警务是同一种采集偏差。其他账号同样的违规因为没人抽查,没进数据。

把它们串起来

前一页用 2008 年演完三支柱,这一页把同一个模式搬出金融业。

先是错配表,五个行业的结构完全一样:左边测得到,右边测不到。营利性大学广告那一行提醒你,错配也可以是故意的。

接着是三个场景。招聘把合格的人无解释地挡在门外。学校评分把标签执行成现实。预测性警务说明模型还能改写数据的采集方式。判断这些回路只用一句话:输出会不会影响下一轮输入的采集。

下一页回答「怎么办」:公众的三条防御,以及为什么规则管不到造模型的人。

课件里的坑

  • [补充] p.27 那张表在幻灯片上缩得很小,五行要按「领域 / 作者定义的成功 / 受影响者真正的目标」三列读,别把左右两列读反
  • [补充] p.28 的「一千份简历几秒筛完」是课件的情境题,不是某家公司的真实数据;实证支撑用 p.14 亚马逊招聘工具的报道
  • [补充] 本页「一步一步看」里 A 区、B 区的对照是为了演示 p.30 的回路编的,课件没有给具体区域
  • [口径差异] p.29 说一个数据故障就能开除一位优秀教师,这是课件对风险的描述,不是某个具体案例的结果

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三条:错配表五行、自我实现回路的四个节点、判断回路的通用判据。再做下面的「变式题」。最后回查两个最容易错的地方:以为换更准的模型就能修好错配、把没写回流机制的情境直接说成已形成回路。

Online Quiz 偏向有唯一答案的点:错配表左右两列各是什么类型、哪一行的错配是故意的。Written Assignment 更可能给一个陌生行业的系统,让你找错配、找回路。

必背

  1. 错配的一般形式:算法优化能测量的代理指标,受影响者关心的却是它测不到的那个目标
  2. 两个反馈回路场景:招聘把合格者无解释地挡在市场外,学校评分把「低潜力」标签执行成真
  3. 营利性大学广告那一行的错配是故意的:同样的技术结构,动机可以是疏忽,也可以是掠夺
  4. 判断回路的通用判据:模型的输出会不会影响下一轮输入的采集方式
  5. 预测性警务里,警力部署决定了哪里的犯罪被记录下来,犯罪率这份数据本身带着模型上一轮的判断

课件例题

例 1(课件 p.28):Job Hunt,AI 几秒筛完一千份简历

见下方完整例题。

例 2(课件 p.29):School Score,算法给教师和学生打分

题面:算法根据考试数据给教师和学生评分,目标是「效率」,但这套数学连专家都解释不了。一个数据故障就能开除一位优秀教师,或把一个学生标成「低潜力」,没有人工申诉或补充说明的机会。被标成「低潜力」的学生得到的支持变少,分数更低,「证明」了计算机是对的。这个回路和数据污染型回路有什么不同?该用哪条防御?

提示

先看回路里是哪一步改变了现实:是数据本身有偏,还是标签改变了对学生的对待?再看题面点名缺了什么。

解答

数据污染型回路是有偏数据训练出有偏模型。这里是标签改变了对学生的实际对待,预测被执行成真,是自我实现预言最纯粹的形态。

题面点名「没有人工申诉」,最直接的解药是 Human Oversight:一条能触发人工复核的规则,可以在标签变成现实之前把它拦下。Ask Questions 同样适用,因为连专家都解释不了这套数学。三条防御的细节见下一页。

例 3(课件 p.30):Predictive Policing 与打破回路的三条防御

题面:模型把警察派到某个区域,警察在那里发现更多犯罪,这些数据回流到模型,模型再派更多警察过去。这个回路比「学到有偏数据」多了什么?公众能用哪三条防御?

提示

用本页的通用判据:模型的输出有没有影响下一轮输入从哪里采集。防御的三条英文名都在 p.30 上。

解答

多的是:模型改变了数据的生成过程。警力部署决定了哪里的犯罪被记录下来,于是「犯罪率」这份数据本身就带着模型上一轮的判断。通用判据是看模型的输出会不会影响下一轮输入的采集方式。

三条防御:Ask Questions 追问「这个决定是怎么做出来的」;Demand Audits 让独立方检查偏差与错误;Human Oversight 让重大决定保留人的同理心与申诉。课件的总纲是 Efficiency vs. Fairness,技术要服务于人,不只是服务于速度和利润。

完整例题

课件 p.28 原题:一家公司收到 1,000 份简历,不用人工,用 AI 筛选器在几秒内根据历史数据挑出「最好的」候选人。它拿以往员工的画像训练,会自动惩罚在历史数据里代表性不足的多元或非传统背景候选人,例如女性或少数族裔。合格的人被瞬间挡在就业市场之外,得不到任何解释。请判断它是否构成 WMD,并找出它的错配和回路。

① 找错配:作者定义的成功是「像以往员工」,候选人真正要的是一个公平的被录用机会。这正是错配表第二行。

② 逐条查三支柱。Opacity:被拒绝且不知道为什么,得不到任何解释。Scale:一千份简历几秒筛完,每家用同类工具的公司都这么做。Damage:合格的人被挡在就业市场之外,而且历史上代表性不足的群体首当其冲。三条都有题面支持。

③ 画回路:被筛掉的人进不了公司,下一轮训练用的「以往员工」画像仍然缺这类人,模型继续惩罚他们。用通用判据核一遍:模型的输出(谁被录用)决定了下一轮训练数据里有谁,回路成立。

④ 结论:按题面描述它构成 WMD。答题时抽象机制用这一页,实证支撑用亚马逊招聘工具的报道。对策分公众和从业者两层,见下一页。

答题格式:错配一句(左列 / 右列),三支柱各一句证据,回路画成带箭头的一行,最后一句结论。

变式题(先自己做)

自编情境:某城市上线一套算法,根据居民的水电缴费记录、社区投诉记录和社交媒体活跃度,给每户家庭生成一个「社区风险分」,用于分配社工上门访视的名额。

(1) 用审查三问拆开它。(2) 指出它的代理指标错配在哪。(3) 它有没有可能形成反馈回路?需要什么条件?

提示

先问「风险」这个词是谁定义的,再问三类数据各自在替什么东西打分。回路只有在访视结果再次进入训练时才成立。

参考答案与自检(非官方评分标准)

自检要点:① 三问都落到具体的人;② 错配要写出左列和右列;③ 回路要写出成立条件,不能当成已发生的事实。

(1) 谁建的:市政部门和供应商,他们自己不被这个分数评估。怎么定义成功:题面没说,这正是要追问的地方,可能是「访视名额用在最可能出事的家庭」。谁不在场:被打分的住户,他们不知道分数存在,也没有参与定义「风险」。

(2) 左列是能测量的东西:缴费是否按时、被投诉次数、社交媒体活跃度。右列是社工真正想帮到的人:真正需要支持的家庭。缴费延迟可能反映经济困难,投诉次数可能反映邻里关系,活跃度和需要支持几乎没有直接关系。

(3) 有可能。如果被访视过的家庭留下更多记录,这些记录又回到训练里,模型就会更确信同一批家庭「高风险」,这和预测性警务是同一种采集偏差。题面没给回流机制,答题时要写成条件,不能写成已发生。

闪卡自测

1. 错配表五行的共同结构是什么?

左列都是能测量的代理指标,右列都是难以测量的真实目标(p.27)。

2. 营利性大学广告那一行和其余四行有什么不同?

其余四行大体是选了不完美的代理指标,属于无意;这一行以报名数即收入为成功,错配是故意的。道德评价不同,造成的伤害可能相同(p.27)。

3. Job Hunt 场景里合格的人为什么被挡在门外?

筛选器用以往员工的画像训练,自动惩罚历史上代表性不足的候选人,被拒者得不到任何解释(p.28)。

4. School Score 场景的回路是哪四步?

标成「低潜力」→ 得到的支持变少 → 分数更低 →「证明」计算机是对的。没有人工申诉,这一圈就没有出口(p.29)。

5. 判断一个系统会不会陷入回路的通用判据是什么?

看模型的输出会不会影响下一轮输入的采集方式。预测性警务就是例子:警力部署决定了犯罪数据从哪里采集(p.30)。

下一讲

下一页回答「怎么办」:公众的三条防御、职业标准五要素,以及为什么规则管不到造模型的人:L02b-2。

下一讲 →
L02b-2 L02b-2 谁来拦住 WMD:三条防御、职业标准与 The Focus Gap

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。