← DSAI5T09 全部讲次
L04a-2 · 第 5 周

L04a-2 第一道门 CLEAN:洗干净不等于有权用,公开可见不等于可以复用

清洗为什么也是伦理决定;知情同意的 KNOW、ACTION、DECISION 三个条件;重新利用、合并、富化、越界暴露四类越界动作;以及公开数据为什么要先过 RIGHTS、PRIVACY、PURPOSE 三条设计约束。

一句话版

数据洗得再干净,也不会因此变得可以随便用;网上看得到的数据,也不会因此变得可以随便用。许可有没有效,看的是数据现在能推断出关于人的什么。

这一页把第一道门 CLEAN 拆成四件事:清洗为什么也是伦理决定;知情同意要哪三个条件;哪四类动作会悄悄越过许可边界;公开数据进流水线前要过哪三条约束。

先认识这几个词

词 全称 / 读法 一句人话
知情同意 informed consent 当事人知道数据拿去干什么,并且自愿同意
重新利用 repurpose 把数据拿去做当初没说过的新用途
合并 merge 把两份数据按同一个人或同一件事拼到一起
富化 enrichment 往数据里补进外部来源或推断出来的新字段
重识别 re-identification 匿名数据被交叉比对后,重新指认出具体的人
设计约束 design constraint 动手之前就限定能做什么的条件

一个类比:借来的钥匙

邻居出门旅行,把家门钥匙交给你,说好每天进去喂一次猫。

你进门后顺手把屋子打扫得一尘不染,这是好事,可打扫干净不会让你多出一项权利:你仍然只被允许喂猫。这对应「洗干净不等于有权用」。

你把钥匙拿去配了一把,交给朋友,让他也能来喂猫。猫照样有人喂,可邻居同意的只是你一个人进门。这对应越界暴露。

你在屋里看到邻居的信件,把上面的地址和你手上的快递单对了一下,推断出他在哪里上班。你没有拿走任何东西,可你知道了他没打算告诉你的事。这对应合并和富化,四类越界动作里最隐蔽的两类。

邻居家的窗户临街,路过的人都能看到客厅。看得到客厅,不等于可以对着客厅拍照发到网上。这对应「公开可见不等于可以复用」。

类比在哪里失效:

  1. 邻居知道钥匙在你手里,数据里的人常常不知道自己的记录在谁手里。
  2. 推断邻居的工作地点要你自己动脑,数据合并只要写一行代码,越界成本低得多。

从零讲起

1. 洗干净不等于有权用

它解决什么问题

清洗通常被当成纯技术活:去重、修格式、补缺失。这个概念要你看到清洗里还有另一半工作:确认这份数据还能不能这样用。课件用一个大大的 ≠ 把两半分开。

直觉

左边一列是技术质量,Clean the record:去重、删掉损坏记录;修正格式与标注错误;替换不准确的值。右边一列是整合性边界,Respect the use:检查隐私条件与数据权利;确认知情同意仍然覆盖当前用途;检验对预期用途的适配性。

中间一句是 QUALITY DOES NOT CREATE PERMISSION,质量不产生许可。

为什么值得单独强调?数据处理得越仔细,越容易生出「我对这份数据负责了」的感觉。这种尽责感会悄悄顶替掉另一个问题:我有资格用它吗?

技术质量与整合性边界两列对照,中间写着质量不产生许可;下方是四类越界动作按隐蔽程度递增:重新利用、合并、富化、越界暴露,其中合并与富化用青绿标为最危险,因为它们在技术上只是普通数据工程却改变了数据能揭示什么

一步一步看

目标:把医院预约系统的清洗工单逐行分进两列,看哪几行看似普通却没人问过许可。

拿一个医院预约系统的清洗工单,逐行分到两列里。

  1. 第一行「删掉重复的预约记录」:只改数据的整洁程度,归技术质量。

  2. 第二行「统一日期格式」:同上,归技术质量。

  3. 第三行「用邮编补全缺失的住址」:补进了新信息,要问许可是否覆盖,归整合性边界。

  4. 第四行「和药房购药记录按身份证号拼表」:改变了数据能推断出什么,归整合性边界。

  5. 最后检查工单:四行里只有前两行被审过,后两行在工单上看起来一样普通,却没有人问许可。

    工单行 归哪一列 要问的问题
    删重复记录 技术质量 删对了吗
    统一日期格式 技术质量 格式统一了吗
    用邮编补全住址 整合性边界 同意覆盖补全住址吗
    和购药记录拼表 整合性边界 拼完能推出什么,同意覆盖吗

怎么判断

对清洗工单里的每一行,问一句:这一步只让数据更整洁,还是让数据能说出更多关于人的事?

  1. 只让数据更整洁:归技术质量,按技术标准查。
  2. 让数据能说出更多:归整合性边界,要先查许可、隐私和用途。

课件给的做法是 Professional Rule:建一份可重复的清洗模板,把技术变更和许可检查记在同一份记录里。两个关键词是 repeatable 和 both。

常见误解

以为清洗做得越仔细,用这份数据就越站得住

仔细只说明技术质量好。许可是另一列的问题,处理得再仔细也生不出许可。课件那句 QUALITY DOES NOT CREATE PERMISSION 针对的就是这种错觉。

以为让清洗环节的伦理检查不流于形式,靠的是「提高意识」

课件的答案是写进模板:可重复,并且技术变更和许可检查记在同一份记录里。靠意识的检查,赶工时第一个被跳过。

试一下

一个团队清洗用户问卷:① 删掉空白问卷;② 把「年收入」一栏的文字统一成数字;③ 用填写的学校名称推断用户的大致年龄段,存成新字段。哪几步归整合性边界?

① 和 ② 只让数据更整洁,归技术质量。③ 推断出了问卷没直接问的信息,是富化,归整合性边界,要先查同意是否覆盖。

2. 知情同意的三个条件

它解决什么问题

「用户同意了」常被当成一张万能通行证。这个概念告诉你同意要三个条件同时成立,而且它是一个跟着数据走的状态,采集那一刻打一个勾远远不够。课件标题就是 Consent is active—not a one-time checkbox。

直觉

三个条件:

  • KNOW(Be informed):当事人理解这项活动和数据的预期用途
  • ACTION(Give freely):许可是自愿给出的,不能当成参与或获得服务的价码
  • DECISION(Keep agency):当事人有一条撤回同意的通道

三条缺一条,同意就不成立。更要紧的是第二层:数据每经历一次变换,都要重新过一遍这三条。

知情同意三个条件 KNOW、ACTION、DECISION 排成三道门,一条青绿回路标出重新利用、合并、富化、越界暴露之后都要回到第一道门重新检查

一步一步看

目标:拿学习 app 的注册弹窗逐条套三个条件,看哪条站不住、数据合并后为何要重新过一遍。

拿一个学习 app 的注册弹窗,逐条套三个条件。

  1. 看 KNOW:弹窗写「我们会使用您的数据改进服务」。用途写得太泛,用户读完不知道数据会被拿去做什么,KNOW 站不住。

  2. 看 ACTION:弹窗只有「同意并继续」一个按钮,不同意就不能注册。同意成了用服务的价码,ACTION 站不住。

  3. 看 DECISION:设置里找不到撤回同意的入口。DECISION 站不住。

  4. 再看变换:半年后团队把学习记录和广告平台的数据合并。即使注册时三条都成立,这次合并也要重新过一遍。

    条件 弹窗的做法 成立吗
    KNOW 「改进服务」一句带过 不成立
    ACTION 不同意就不能注册 不成立
    DECISION 没有撤回入口 不成立
    合并之后 没有重新征求 要重新过一遍

怎么判断

判断一份同意还成不成立,按顺序问:

  1. 当事人知道现在这个用途吗?
  2. 拒绝之后,他还能正常获得服务吗?
  3. 他有没有地方撤回?
  4. 从当初同意到现在,数据经历过重新利用、合并、富化或越界暴露吗?有,就回到第 1 问重来。

课件的 Professional Rule 是:在每一次变换旁边跟踪同意与隐私,不只在最初采集的那一刻。

常见误解

以为用户勾过一次「同意」,之后怎么用都行

同意覆盖的是当初说明的用途。数据被重新利用、合并、富化之后,原来的同意不一定还有意义。课件的说法是同意要跟着每一次变换走。

以为「不同意就不能用服务」只是商业条款,和同意是否有效无关

ACTION 一条写明许可不能当成参与或获得服务的价码。被逼着点的同意,不算自愿给出。

试一下

某校园 app 注册时写明「定位只用于校车到站提醒」,提供关闭定位的开关。一年后学校想用这些定位数据统计学生去图书馆的频率。三个条件还成立吗?

注册时三条都成立:用途写清了(KNOW),有开关、不强制(ACTION),能关闭(DECISION)。可统计图书馆频率是新用途,属于重新利用,KNOW 对新用途不成立,要重新告知并征得同意。

3. 四类越界动作

它解决什么问题

数据离开许可边界,往往没有哪一刻像「违规」。这个概念把常见的越界方式列成四类,告诉你哪两类最容易漏审。课件给这张清单的标题是 THE DATA-CLEANING BOUNDARY。

直觉

四类动作按隐蔽程度递增:

  1. 重新利用(repurpose):为新目标使用数据,最容易被发现
  2. 合并(merge):与其他来源拼在一起
  3. 富化(enrich to infer more):补进字段,推断出关于人的更多信息
  4. 越界暴露(expose beyond agreed access):放到约定的访问范围之外

越界暴露听起来最严重,却是最有明文规章管的一类。真正危险的是中间两条。它们在工单上只是两行普通的数据操作,不触发审批,却改变了这份数据能揭示什么。

课件原话是 Each change can alter what the data reveals and whether the original permission remains meaningful。

一步一步看

目标:跟着一份外卖订单数据走过四类越界动作,看哪两类最少触发审批、却让数据多说了话。

拿一个外卖平台的订单数据,看同一份数据怎样一步步走出许可边界。

  1. 原用途:订单记录用于配送和售后。

  2. 重新利用:拿订单记录训练「用户价值」模型。用途变了,最容易被发现。

  3. 合并:按手机号和会员积分系统拼表。工单上只是一次 join。

  4. 富化:从下单时间和地址推断用户的上班地点,存成新字段。工单上只是加一列。

  5. 越界暴露:把整理好的表发给合作的保险公司。有合同、有审批,最容易被拦下。

    动作 工单上的样子 会不会触发审批 数据多说了什么
    重新利用 新项目立项 常会 用途变了
    合并 一次 join 很少 消费习惯
    富化 新增一列 很少 上班地点
    越界暴露 对外发数据 通常会 更多人能看到

怎么判断

拿到一串数据操作,逐条问:

  1. 它属于四类里的哪一类?
  2. 这一步之后,数据能推断出哪些原来推断不出的事?
  3. 原来的同意覆盖这些新推断吗?

第 2 问答得出新东西,第 3 问答不出「覆盖」,这一步就越界了。合并和富化要格外留意,因为它们最不像「做了什么大事」。

常见误解

以为四类里越界暴露最危险

越界暴露后果最直观,可也最有规章管,通常会触发合同和审批。合并和富化在技术上只是普通的数据工程,没有人会为一次 join 开评审会,所以最容易漏掉。

以为没有删改原始数据,就没有越界

许可有没有效,看的是数据现在能推断出什么。合并和富化一个字都没改原始记录,却让数据能说出更多关于人的事。

试一下

一个研究组把学生的选课记录和宿舍门禁记录按学号拼在一起,再推断每个学生的作息类型(早睡型、夜猫型)。这里有几类越界动作?

两类。按学号拼表是合并;推断作息类型并存成新字段是富化。两步在工单上都很普通,却让数据能说出学生的生活习惯,要先查同意是否覆盖。

4. 公开可见与可以复用

它解决什么问题

「网上公开的数据,爬下来就能用」是很常见的想法。这个概念把「能不能拿到」和「该不该这么用」分开,并给出数据进流水线前必须先过的三条约束。

从哪来(补充)

「合并会暴露什么」最有名的例子来自 Netflix Prize。这项竞赛 2006 年开始,公开了一批去掉姓名的用户影片评分。2007 年,研究者 Arvind Narayanan 与 Vitaly Shmatikov 把它和 IMDb 上的公开影评对照,识别出了个别用户。出处:Wikipedia: Netflix Prize。

直觉

两句原话值得背:Technical access answers “Can I obtain it?” Integrity asks the harder question: “Should I use it this way?” 前一句的答案永远不构成后一句的答案。

三条约束在动手前就要过:

  • RIGHTS(Check Policies):所有者权利、数据库条款、复用条件允不允许
  • PRIVACY(Check what joining reveals):清洗和合并之后,能推断出关于人的什么
  • PURPOSE(Check fitness for use):数据拿得到,对这个预测或决策合不合适

课件特意叫它们 design constraints,设计约束。设计约束在动手前就限定能做什么,和做完再过的审查是两回事。

第二条说的就是重识别。匿名性取决于对方手上还有什么别的数据,而能拿来交叉比对的公开数据只会越来越多,所以匿名性会随时间变差。

两张表对照:左边是匿名影片评分表,右边是公开影评,按影片、评分、日期三列对上之后,匿名编号 A17 被指认为昵称小林,图中标明为示意数据

一步一步看

目标:拿公开的二手房挂牌数据逐条过三条约束,看「拿得到」为何回答不了「该不该这样用」。

拿一份公开的二手房挂牌数据,按三条约束逐步判断。

  1. 先停一下:挂牌页人人都能看,这只回答了「能不能拿到」。

  2. RIGHTS:查网站条款,看是否允许爬取和复用。题面没说,写成追问。

  3. PRIVACY:按电话号码对上一份公开的商户名录,就是合并。合并后能推出房东的职业和店铺地址,匿名挂牌人被重新指认。

  4. PURPOSE:挂牌页是为卖房写的,拿来判断「议价倾向」,数据撑不撑得起这个问题,要追问。

    判断帧:案例是某团队想用公开的二手房挂牌页训练房东议价倾向模型,并按电话号码对上公开商户名录;左栏四步走到第三步 PRIVACY,右栏写按电话号码对上即合并、合并后能推出房东职业和店铺地址、匿名挂牌人被重新指认属于重识别

怎么判断

拿到一份公开数据,按顺序过三条:

  1. RIGHTS:条款允许这样拿、这样用吗?
  2. PRIVACY:我打算和它合并的数据有哪些?合并之后能指认出具体的人吗?
  3. PURPOSE:这份数据当初为什么写?它撑得起我要做的判断吗?

三条都要在复制、合并、清洗、建模之前回答。答不上来的写成追问,别直接动手。

常见误解

以为爬得到、没署真名,就等于可以用

爬得到只回答了 Can I obtain it。没署真名也不等于匿名:和别的公开数据一对,可能唯一指向具体的人。

以为一份数据只要匿名过一次,就永远是匿名的

匿名性取决于对方手上还有什么数据。今天没有可以对照的数据,明天可能就有了,所以匿名性会随时间变差。

试一下

一个团队爬取某公开招聘网站的职位描述,打算统计各行业要求的技能。职位描述里没有个人信息,也不和别的数据合并。三条约束各怎么答?

RIGHTS:要查网站条款是否允许爬取和用于统计,题面没说。PRIVACY:职位描述不含个人信息,也不合并,重识别风险很低。PURPOSE:职位描述就是写给求职者看的技能要求,用来统计技能需求是合适的。主要待查的是 RIGHTS。

把它们串起来

这一页全在第一道门里。四个概念回答同一个问题:数据进流水线之前,许可、隐私、用途有没有先查清。

清洗被劈成两列,技术质量和整合性边界各管一半,质量不产生许可。许可本身靠知情同意的三个条件,而且每次变换后要重新过一遍。四类越界动作告诉你哪些变换最容易被漏审。最后,公开数据也要先过 RIGHTS、PRIVACY、PURPOSE 三条设计约束。

四个概念合起来,就是上一页那句 Permission before cleaning 的展开。数据这一关过了,下一页接着讲模型要预测什么、上线后谁会受影响。

课件里的坑

  • [课件留白] p.8 的 PRIVACY 一条只给了「合并会暴露更多」的机制,没有给案例。正文里的 Netflix Prize 重识别是补充的背景,答题以机制为主
  • [补充] 底稿把 Netflix 重识别论文记为 2008 年;维基条目写研究者在 2007 年完成识别。本页按维基条目写 2007,引用时写清依据的是哪个来源
  • [补充] p.7 的「重新定义用途需要重新取得依据」,和后面隐私法规里的目的限制原则是同一件事,那一讲会正面讲

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写知情同意的三个条件,再按顺序默写四类越界动作,最后默写三条设计约束。然后读完整例题,做变式题,回查最容易错的地方:以为越界暴露最危险。

这门课没有期末考试,两份评估都是场景式伦理分析。下面是押题,课件没给题型说明:第一道门最适合出「给一串数据操作,判断哪一步越界」,p.6、p.8 那两个 ≠ 是判断题的好素材。

必背

  1. 把数据洗干净不等于取得使用许可;四类越界动作按隐蔽程度递增是重新利用、合并、富化、越界暴露,中间两条最危险
  2. 知情同意三条件 KNOW、ACTION、DECISION,许可要跟着每一次变换走,不只在首次采集那一刻
  3. 公开可见不等于可以复用:能不能拿到是技术问题,该不该这么用是伦理问题
  4. 清洗环节的 Professional Rule:建一份可重复的清洗模板,把技术变更和许可、隐私检查记在同一份记录里
  5. RIGHTS、PRIVACY、PURPOSE 是设计约束,在复制、合并、清洗、建模之前就限定能做什么
  6. 匿名性取决于对方手上还有什么数据,两份各自匿名的数据合并后可能唯一指向具体的人,这叫重识别

课件例题

本讲课件没有例题。第一道门这几页只给清单和对照,没有配案例;下面的完整例题和变式题都是按「判断哪一步越界」这个题型自编的。

完整例题

自编情境,依据 p.6–p.7 设计,非课件原题:某运动 app 收集用户步数,用途写明是「健康提醒」。数据团队计划做四件事:① 用步数训练一个保险定价模型;② 把步数和外部购物记录按手机号拼在一起;③ 从步数的作息规律推断用户的工作班次,存成新字段;④ 把整理好的数据集发给合作公司。

① 归类。按四类越界动作:① 换了用途,是重新利用;② 是合并;③ 推断出原数据没有的信息,是富化;④ 超出约定的访问范围,是越界暴露。

② 哪两步最容易漏审。② 和 ③。它们在工单上只是一次拼表、一次加字段,不触发审批,却让这份数据能推断出用户的消费习惯和作息。许可还有没有效,看的是数据现在能推断出什么。

③ 同意还成立吗。原同意只覆盖「健康提醒」。按 KNOW,用户不知道保险定价这个用途;若 app 规定「不同意就不能用」,还违反 ACTION;DECISION 要求有撤回通道。四件事都要重新取得依据。

④ 结论:四步都越过了原许可边界,不能直接做。最小改动是先停下 ② 和 ③,把每一次变换和对应的许可检查写进同一份清洗记录,再就新用途重新征得同意。

答题格式:先给每一步归类,再点出最隐蔽的两步,然后逐条对三个同意条件,最后给出改法。

变式题(先自己做)

自编情境:一个研究小组从某公开论坛爬取了十万条帖子,帖子都没有署真名。他们打算训练一个模型识别「有心理困扰倾向」的发帖人,还想把用户名和另一个公开社交平台上的同名账号对上,补充年龄和城市。

用三条设计约束各过一遍:哪些问题已由题面证实,哪些还需追问?给出可操作的改进。

提示

先分清三件事:论坛条款允不允许爬取和复用(RIGHTS);两边账号对上之后能推出什么(PRIVACY);论坛帖子撑不撑得起「心理困扰」这个判断(PURPOSE)。题面没说的写成追问,别写成断言。

判分点与答案(非官方评分标准)

判分点:① 三条约束各给出具体追问;② 点出「公开可见」不构成许可;③ 认出跨平台对号是合并加富化,带来重识别风险;④ 给出改进措施而不只是批评。

RIGHTS:题面没说论坛条款,要先查是否允许爬取和用于研究,不宜断言违规。

PRIVACY:没署真名不等于匿名。和另一平台同名账号对上,就是合并加富化,补进年龄和城市后,可能唯一指向具体的人,这正是重识别。

PURPOSE:帖子是为交流写的,拿来判断心理状态,标签从哪来、准不准都要追问。

改进:先核查条款;去掉跨平台对号这一步;在动手前把权利、隐私、用途写成设计约束,而不是等结果出来再审。

闪卡自测

1. QUALITY DOES NOT CREATE PERMISSION 针对的是什么心理错觉?

数据处理得越仔细,越容易生出「我对这份数据负责了」的感觉,这种尽责感会顶替掉「我有资格用它吗」。对策是把许可检查写进可重复的清洗模板(p.6)。

2. 知情同意的三个条件是什么?哪一条排除了「不同意就不给服务」?

KNOW(被告知)、ACTION(自愿给出)、DECISION(可撤回)。第二条写明许可不能作为参与或获得服务的价码(p.7)。

3. 四类越界动作是哪四类?为什么中间两条最危险?

重新利用、合并、富化、越界暴露,按隐蔽程度递增。合并与富化在技术上只是普通的数据工程操作,不触发审批,却改变了数据能推断出关于人的什么(p.7)。

4. p.7 的 Professional Rule 里,考点在哪两个短语的对立?

every transformation 和 not just the first collection event。同意要跟着每一次变换走,不是采集时的一次性事件(p.7)。

5. 数据进流水线之前要当成设计约束处理的三件事是什么?

RIGHTS 查权利与条款、PRIVACY 查合并后会暴露什么、PURPOSE 查对预期用途适不适配。称其为设计约束是因为它在动手前就限定解空间(p.8)。

6. 什么是重识别?为什么说匿名性会随时间变差?

两份各自匿名的数据合并后可能唯一指向具体的人。匿名性取决于对方手上还有什么数据,而可交叉比对的公开数据只会越来越多(p.8)。

7. p.8 底部那组对照问句是什么?

Technical access answers “Can I obtain it?” Integrity asks the harder question: “Should I use it this way?” 前者是技术问题,后者是伦理问题(p.8)。

下一讲

数据这一关过了,下一页讲后两道门:MODEL 阶段的目标变量和基准测试,DEPLOY 阶段的四条职责和纵深防御,最后把三道门收成一张必背表:L04a-3。

下一讲 →
L04a-3 L04a-3 建模与部署两道门:目标变量是价值选择,部署要为防护失效做准备

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。