← DSAI5T09 全部讲次
L04a-1 · 第 5 周

L04a-1 伦理放在流程里:三阶段三职责与三句口诀

从一个数据项目的流水线讲起:伦理检查为什么要拆到清洗、建模、部署三个交接点上,三阶段各自守什么,三句 Integrity Mantra 规定的是哪一刻必须先问。

一句话版

伦理检查要拆成三次,分别挂在清洗前、预测前、上线前,每次只问一个问题。全部攒到项目末尾再审,那时候改什么都贵。

这一页从零讲三件事:一个数据项目的流水线长什么样;三阶段各自守什么;三句口诀规定的是哪一刻必须先问。三道门里各自要查的细节,在后两页展开。

先认识这几个词

词 全称 / 读法 一句人话
流水线 pipeline 数据从采集到上线经过的一串工序
数据清洗 data cleaning 修错值、补缺失、去重,让数据能用
建模 modelling 选定要预测什么,再训练和测试模型
部署 deployment 把模型放进真实系统,让它开始影响人
交接点 handoff 项目从一个阶段转到下一个阶段的那一刻
口诀 Integrity Mantra 三句「X before Y」,规定 X 必须先于 Y

一个类比:装修房子的三次验收

装修要验收三次,每次问的事不同,也只有那一刻问得起。

第一次是隐蔽工程验收,在封墙之前。水管、电线、防水全在这一刻查,封了墙再想确认就得砸墙。这对应 CLEAN 阶段:数据一旦被合并、富化、复制到别处,当初的许可覆盖到哪里就说不清了。

第二次是主体验收,查房子按没按图纸建,也查图纸本身对不对。图纸把卫生间画在承重墙上,施工再标准也白搭。这对应 MODEL 阶段,目标变量就是那张图纸。

第三次是交付验收,问钥匙配几把、给了谁、门锁坏了找谁。这对应 DEPLOY 阶段:访问控制、日志、监控,还有一句更硬的追问,某道防护失效时后果落在谁身上。

把三次验收合成一次,放在交房那天做,会怎样?墙早封了,图纸早照着建了。验收员发现问题,只能问一句「要不要砸掉重来」,答案几乎总是「先这样吧」。

类比在哪里失效:

  1. 装修是一次性的,模型上线后每天都在做决定,还在生产下一轮训练数据。
  2. 业主能到场验收,被写进数据集的人常常不知道自己在里面。
  3. 墙砸了可以重砌,一个人被拒掉的机会往往没有第二次。

从零讲起

1. 先补一块:数据项目的流水线(补充)

它解决什么问题

这一讲把伦理检查挂在「交接点」上。要看懂交接点,先得知道一个数据项目从头到尾经过哪些工序。没写过模型的同学,可以把这一节当成地图。

直觉

一个数据项目大致按这个顺序走:采集数据、清洗、定目标、训练、测试、上线。每一道工序都拿上一道的产出当输入。

所以越往后,前面的决定被压在下面越多。清洗时合并了两张表,后面所有模型都建在这张合并表上。定目标时选了一列,后面所有测试都在优化这一列。

六道工序从左到右排成一条流水线:采集、清洗、定目标、训练、测试、上线,三条青绿虚线标出三个交接点,分别写着 PERMISSION、PURPOSE、IMPACT,位置在清洗前、预测前和上线前

一步一步看

目标:拿刷卡记录做学业提醒的项目沿流水线走一遍,看每道工序之后什么被固定、想改要退回哪。

拿一个学校用刷卡记录做学业提醒的项目,沿流水线走一遍,每一步问「这一步之后,什么东西被固定下来了」。

  1. 采集:刷卡记录当初为门禁而收。被固定的是「数据从哪来、当初说了什么用途」。

  2. 清洗:去重、补缺失,再和成绩表拼在一起。被固定的是「这份数据现在能推断出关于学生的什么」。

  3. 定目标:选「到馆次数」代表「学习投入」。被固定的是「系统奖励什么、标记什么」。

  4. 训练和测试:在这张表上反复调参。被固定的是「模型学到的模式」和「用哪个分数说它好」。

  5. 上线:辅导员按分数约谈学生。被固定的是「谁会受影响、谁能看到分数」。

    工序 这一步之后被固定的东西 想改它要退回到哪
    采集 来源和原用途 重新征得同意
    清洗 数据能推断出什么 拆掉合并,重做清洗
    定目标 什么算好 换目标,重新训练
    训练、测试 模型和评估口径 重训、重测
    上线 影响范围 下线、补救

怎么判断

拿到一个项目,先把它的工序按顺序写下来,再问两句:

  1. 哪几道工序之间是交接点?清洗前、定目标前、上线前这三处最关键。
  2. 每个交接点之后,有什么决定会被后面所有工序压在下面?

答得出第二句,就知道检查为什么要放在那一刻,过了那一刻再改,代价是把后面的工序全部重做。

常见误解

以为流水线可以随时倒回去改,伦理问题晚点再说也一样

技术上能倒回去,代价却按工序累积。清洗时的一次合并,后面的目标、训练、测试都建在它上面;退回去改合并,后面全部重做。越晚发现,要推翻的东西越多。

以为「采集」那一步问过同意,后面就不用再管许可

同意覆盖的是当初说明的用途。清洗时的合并、富化,会让数据能推断出新东西,原来的同意不一定覆盖这些。下一页专门讲这一点。

试一下

一家健身 app 收集步数做健康提醒,后来把步数和购物记录拼在一起,训练「消费能力」模型,再按模型给用户推不同价位的课程。写出这个项目的流水线,指出三个交接点。

流水线:采集步数 → 清洗并和购物记录合并 → 定目标「消费能力」 → 训练、测试 → 上线推课。三个交接点:合并之前(许可是否覆盖新用途)、定目标之前(「消费能力」代表什么、对谁有用)、上线之前(不同价位的推荐会影响谁、谁能看到分数)。

2. 三阶段三职责

它解决什么问题

「做项目要讲伦理」这句话没人反对,可它没告诉你什么时候讲、讲什么。三阶段框架把伦理检查装进已有的工程流程:不新增流程,只在三个交接点上各加一个职责。

直觉

三个阶段各有一句职责:

  • CLEAN:Respect the data boundary,守住数据边界
  • MODEL:Make the model defensible,让模型站得住
  • DEPLOY:Prepare for impact,为影响做准备

阶段只有三个,因为交接点就只有三个。顺序也不是随便排的:先有数据,才谈得上建模;先有模型,才谈得上上线。

三阶段三职责与三句口诀:01 CLEAN 守住数据边界对应 PERMISSION BEFORE CLEANING,02 MODEL 让模型站得住对应 PURPOSE BEFORE PREDICTION,03 DEPLOY 为影响做准备对应 IMPACT BEFORE LAUNCH,底部写 Integrity is not a final sign-off

这个框架整套挂在一篇 2024 年的论文上,作者是 Parthasarathy、Panigrahi 与 Subramanian,发表在 Engineering Reports。它的主张只有一句:伦理不是项目末尾的一次签字。

一步一步看

目标:对比末尾审一次和三个交接点各审一次,看同样三个问题为何越晚发现越难改。

为什么不能把三个问题攒到末尾一起问?拿同一个项目,对比「末尾审一次」和「三个交接点各审一次」。

  1. 清洗前发现许可不覆盖新用途:这时数据还没合并,停下来换数据源,只损失一点采集工作。

  2. 训练前发现目标是个太窄的代理:这时模型还没训,换一列目标,重写的是一行查询。

  3. 上线前发现没有申诉通道:这时系统还没影响人,补一个通道就行。

  4. 同样三个问题,全部到末尾评审会才发现:数据早已合并,目标早已定下,模型早已训完。每一条意见都变成「要不要推翻重来」,于是被压下去。

    一组堆叠方块,从清洗前、训练前、上线前到末尾审查,每晚一步要返工的工序就多一层,青绿标注写明末尾审查时三道门的返工全压在同一刻

怎么判断

判断一个项目的伦理检查放得对不对,问三句:

  1. 有没有三次检查,还是只有一次?
  2. 每次检查是不是在对应的交接点之前,而不是之后?
  3. 每次检查问的是不是那一阶段的职责:边界、站得住、影响?

三句里第一句答「只有一次」,就已经可以判它把伦理推到了末尾。

常见误解

以为末尾审查的问题是「审得不够严」

末尾审查可以很严,问题出在时机。那时改什么都要推翻前面的工序,严格的意见也只能被压下去。课件的论点是成本,审查者的态度不是重点。

以为三阶段是在工程流程外另加的三道审批

三阶段就是已有的清洗、建模、部署。框架没有新增流程,只是在每个阶段开始前加一个必答题。

试一下

一个团队说:「我们很重视伦理,项目上线前会请伦理委员会做一次全面审查。」用三阶段框架评价这句话。

只有一次检查,放在上线前。CLEAN 和 MODEL 两道门被并到了末尾:那时数据已合并、目标已定、模型已训完,委员会提出的许可或目标问题都要推翻重来。改法是在清洗前、训练前各加一次,只问那一阶段的职责。

3. Integrity Mantra 三句:规定的是时点

它解决什么问题

三阶段说清了「在哪三处检查」,可每一处具体先做什么?口诀用三句话把顺序钉死,方便在项目评审时直接复述。

直觉

三句口诀:

  • Permission before cleaning:先确认许可,再清洗
  • Purpose before prediction:先想清目的,再预测
  • Impact before launch:先评估影响,再上线

三句都是「X before Y」。Y 全是工程师本能上想先做的事:清洗、预测、上线。X 全是容易被往后推的事:许可、目的、影响。口诀规定的是两件事的先后,具体问什么由后两页的子问题给。

整份课件里,这三句重复出现了三次,是唯一享受这个待遇的内容。

一步一步看

目标:拿外卖平台的骑手打分项目按口诀逐个交接点排查,看每句口诀在哪个时点问什么。

拿一个外卖平台的项目,按口诀逐个交接点排查。

  1. 先把项目里的三个交接点列出来:清洗前、训练前、上线前。

  2. 清洗前问许可:骑手定位记录当初为导航和派单采集,拿来打分要核对许可。

  3. 训练前问目的:「准时率」能不能代表骑手的表现,堵车、恶劣天气怎么算。

  4. 上线前问影响:分数低就少派单,后果落在谁身上。

    判断帧:案例是某外卖平台用骑手定位记录训练准时率预测、分数低的骑手少派单、团队打算最后开一次伦理评审会;左栏四步已走到第四步上线前防护失效时后果落在谁身上,右栏写派单变少影响骑手收入、骑手看不到分数也没有申诉通道,结论是三句口诀都被推迟了,要把评审拆回三个交接点

怎么判断

拿到一句项目安排,套口诀的格式:

  1. 找出 Y:项目里哪一步是清洗、预测或上线?
  2. 找出对应的 X:许可、目的、影响有没有在 Y 之前被问?
  3. 如果 X 排在 Y 之后,或者根本没排,就违反了口诀。

常见误解

以为三句口诀说的是「要查许可、要想清目的、要评估影响」

这三件事没人反对,口诀规定的是它们发生在哪一刻。只记内容不记顺序,等于把口诀里最有用的那半句丢掉了。

以为口诀和三阶段是两套要分别背的东西

三句口诀和三阶段一一对应:Permission 管 CLEAN,Purpose 管 MODEL,Impact 管 DEPLOY。阶段说在哪,口诀说先问什么。

试一下

一个研究组的计划写着:「先把爬到的帖子清洗好、训练一个初版模型,看效果不错再去确认能不能用这批数据。」它违反了哪一句口诀?

违反 Permission before cleaning:清洗和训练排在许可之前。效果好之后再问许可,团队已经投入了清洗和训练的成本,许可问题很容易被「先这样吧」压下去。另外,「训练初版模型」之前也没提目的,Purpose before prediction 也没守住。

把它们串起来

这一页搭的是整讲的骨架。流水线告诉你数据项目有三个交接点:清洗前、预测前、上线前。三阶段框架在每个交接点上挂一个职责:守住边界、让模型站得住、为影响做准备。

三句口诀把这三个职责翻成先后顺序:许可先于清洗,目的先于预测,影响先于上线。

整套设计的理由是成本。检查放在交接点之前,改动最便宜;推到末尾,每条意见都要推翻重来,于是被压下去。

后面两页各管一段:下一页细看第一道门 CLEAN,再下一页讲 MODEL 和 DEPLOY 两道门,并把三道门收成一张必背表。

课件里的坑

  • [编号错位] 封面印 Lecture 4: Ethics Frameworks & Responsible Code,与进度表上 L04 那个主题对不上。进度表那一讲的全名同时含 Ethical Data Handling 与 Responsible Code,被拆成两份课件各取一半,两份的议程页逐字相同。封面编号是课件序号,比讲次号多一位
  • [标题误导] 封面写 Responsible Code,但上半份几乎没有代码。它讲的是写代码时做的选择本身带着价值判断,别按编程规范去读
  • [补充] 本页第 1 节的流水线六道工序和刷卡记录例子是为零基础读者补的地图,课件 p.4 只画了三个阶段

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三阶段各自的英文职责,再默写三句口诀。然后读完整例题,再做变式题。最后回查最容易错的地方:把口诀读成「要做某三件事」而忽略时点。

这门课没有期末考试,两份评估都是场景式伦理分析。下面是押题,课件没给题型说明:这一页最适合出「给一份项目计划,指出伦理检查排错了哪一步」。

必背

  1. 三阶段三职责:CLEAN 守住数据边界、MODEL 让模型站得住、DEPLOY 为影响做准备,顺序是数据在项目里流动的真实顺序
  2. Integrity Mantra 三句:Permission before cleaning、Purpose before prediction、Impact before launch,约束的是顺序,不是内容
  3. 把伦理推到项目末尾,代价不是审得不严,是那时已经没有便宜的修改余地
  4. 伦理不是项目末尾的一次签字,三个问题各自挂在一个交接点上,每次只问一个
  5. 三句口诀的 Y 是工程师本能上想先做的事(清洗、预测、上线),X 是容易被往后推的事(许可、目的、影响)

课件例题

本讲课件没有例题。上半份课件只给框架、口诀和清单,没有配案例;评估会给一个陌生场景,让你判断检查排在了哪一步,下面的完整例题和变式题都是按这个题型自编的。

完整例题

自编情境,非课件原题:某共享单车公司的项目计划写着:① 把三年的骑行轨迹和用户注册信息合并清洗;② 训练「信用分」模型,目标是预测「会不会按时还车」;③ 分数低的用户押金翻倍;④ 上线一个月后,请法务和伦理顾问做一次全面审查。用三阶段框架和三句口诀评价这份计划。

① 列出交接点。清洗前在 ① 之前,预测前在 ② 之前,上线前在 ③ 之前。计划里唯一的检查是 ④,排在上线之后。

② 逐句对口诀。Permission before cleaning:① 的合并没有先问许可,轨迹当初为计费采集。Purpose before prediction:② 之前没问「按时还车」能不能代表「信用」。Impact before launch:③ 上线前没问押金翻倍落在谁身上。三句全部违反。

③ 算一下返工代价。到 ④ 才发现合并越界,要拆合并表、重训模型、退还多收的押金。三道门的返工压在同一刻,而且已经有用户受了影响。

④ 结论:把 ④ 拆成三次,分别放在 ①、②、③ 之前,每次只问那一阶段的职责。

答题格式:先列交接点,再逐句对口诀,最后写返工代价和改法。

变式题(先自己做)

自编情境:一家公司要用 AI 筛简历。计划是:先把历年简历和员工绩效表合并,训练「岗位匹配度」模型,内部试用两周后正式上线;上线后每季度做一次公平性复盘。

(1) 这份计划里有几次伦理检查,分别在哪个阶段?(2) 按三句口诀,缺了哪几次?(3) 给出改法。

提示

「每季度复盘」是上线之后的监控,算不算 DEPLOY 前的那次检查?先把三个交接点标出来,再一句一句对。

判分点与答案(非官方评分标准)

判分点:① 正确列出三个交接点;② 认出季度复盘在上线之后;③ 三句口诀逐句对照;④ 给出可执行的改法。

(1) 只有一次,是上线后的季度复盘,属于上线后的持续监控。

(2) 缺了三次。合并之前没问许可(Permission before cleaning);训练之前没问「岗位匹配度」代表什么(Purpose before prediction);正式上线之前没问谁会被筛掉、能不能申诉(Impact before launch)。内部试用不等于影响评估。

(3) 合并前核对简历和绩效表的使用许可;训练前写明匹配度的定义和它漏掉了什么;上线前评估被拒者受到的影响、设好申诉通道;季度复盘保留,作为上线后的监控。

闪卡自测

1. 三个阶段各自的一句职责是什么?

CLEAN 是 Respect the data boundary,MODEL 是 Make the model defensible,DEPLOY 是 Prepare for impact。顺序就是数据在项目里流动的真实顺序(p.4、p.5)。

2. Integrity Mantra 三句是什么?它们约束的是什么?

Permission before cleaning、Purpose before prediction、Impact before launch。三句共用「X before Y」,约束的是顺序(p.5、p.13、p.14)。

3. 为什么「伦理审查排在项目末尾」是个成本问题?

到那时数据已合并、目标变量已定、模型已训完,任何伦理意见都会被翻译成「要不要推翻重来」而被压下去。拆成三次交接、每次只问一个才付得起(p.4)。

4. 口诀里的 X 和 Y 各有什么共同点?

Y 是清洗、预测、上线,都是工程师本能上想先做的事;X 是许可、目的、影响,都是容易被往后推的事(p.5)。

5. 三句口诀在课件里出现了几次?

三次,分别在 p.5、p.13、p.14,是整份课件唯一重复三次的内容。

6. 上半份课件挂在哪篇论文上?

Parthasarathy、Panigrahi 与 Subramanian 2024 年发表在 Engineering Reports 上的论文(p.3)。

7. 封面编号为什么和进度表的讲次对不上?

进度表上那一讲被拆成两份课件,各取标题的一半,两份的议程页逐字相同。封面编号是课件序号,从这里起比讲次号多一位。

下一讲

下一页细看第一道门 CLEAN:洗干净为什么不等于有权用,知情同意要哪三个条件,公开可见的数据为什么不能随便复用:L04a-2。

下一讲 →
L04a-2 L04a-2 第一道门 CLEAN:洗干净不等于有权用,公开可见不等于可以复用

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。