L10c 四类风险与署名:AI 让老毛病变快,签名只能留给人
从零讲清生成式 AI 在研究里的四类风险:幻觉是填好的答案,微剽窃欠的是想法,偏见是继承来的,捏造在一杯咖啡的时间里就能完成;再讲为什么 AI 不能当作者,以及不知道工具做了什么为什么不构成辩护。
一句话版
生成式 AI 让幻觉、微剽窃、偏见和捏造变得又快又多又体面,所以论文上的签名只能是能被追责的人。
上一页 L10b 讲了 AI 的好用法:语言辅导、副导师式用法、编辑部质控,以及粘贴进去的数据去了哪里。这一页转到它出错的地方。
先认识这几个词
| 词 | 英文 | 一句人话 |
|---|---|---|
| 幻觉 | hallucination | 模型一本正经地给出错误内容,连引用都像真的 |
| 微剽窃 | micro-plagiarism | 把别人的片段拆开、换词、重排,拼成看似原创的文字 |
| 偏见 | bias | 训练材料本身偏斜,模型把偏斜原样继承下来 |
| 捏造 | fabrication | 编出从来不存在的数据或引用 |
| 署名 | authorship | 论文作者栏里的名字,代表谁对这篇论文负责 |
| 问责 | accountability | 出了问题能被追问、被处罚的那个人 |
一个类比:一台会写作业的复印机
想象一台机器,能在几分钟内交出一份字迹工整、格式漂亮的作业。它有时抄错数字,有时把几本书的段落拼在一起,有时编出一本不存在的参考书,而且写错的地方和写对的地方字迹一模一样。
作业交上去以后,老师只会找在作业上签名的学生。机器没法被叫到办公室,也没法被扣分。
所以学生要么逐条核对,要么别交。
类比在哪里失效:
- 复印机只会照搬,生成式 AI 会按最顺的方式续写,错误是现编的。
- 作业错了只影响一个分数,论文错了会被别人引用、写进综述。
- 学生交作业通常不用说明用了什么工具,研究者用了 AI 往往要披露,下一页细讲。
从零讲起
1. 四类风险:老毛病,新速度
它解决什么问题
生成式 AI 写得流畅,能加快好的研究工作。课件提醒:同样的流畅也让捏造和篡改变得毫不费力。
这一节先把风险分成四类,后面各节逐个拆开。
直觉
四类风险都很老:编数据、抄别人、带偏见的结论、写错的论断,在没有 AI 的年代都有。
变化在三处。速度:以前编一篇论文要花很久,现在很快。规模:一个人能一次产出很多。包装:成品读起来专业、整齐,看不出破绽。
课件用一组六格连环画演示了速度:一杯咖啡的时间,从空白页走到一篇能投稿的论文。
一步一步看
目标:先认四类风险,再跟着六格连环画,看出「速度、规模、包装」分别落在哪一格。
-
认出四类风险,并记住课件的结论句:它们都不是新问题。
-
跟着六格走一遍:空白页、提示词、倾泻、参考文献、打印、掌声。
-
把三个「新」对上格子。
新在哪 落在哪一格 说明 速度 从空白页到打印 课件给出的数字是约 15 分钟 规模 倾泻 引言、方法、结果、讨论一次出齐 包装 参考文献、打印 格式规范、读起来可信,可以直接投 -
看最后一格:全场先是佩服,然后不安。不安的来源是参考文献那一格,它们是编的。
怎么判断
判断口诀:遇到一个 AI 风险,先问它属于四类里的哪一类,再问 AI 让它在速度、规模、包装哪一处变严重了。
| 情形 | 归类 |
|---|---|
| 模型给出一个带引用的错误结论 | 幻觉 |
| 换词重排别人的段落,查重没报警 | 微剽窃 |
| 某些地区的研究在结论里一直缺席 | 偏见 |
| 数据表或参考文献是编出来的 | 捏造 |
意思是:分类帮你找到对应的检查方法,三个「新」帮你解释为什么现在要更警惕。
常见误解
误解:这些风险是 AI 带来的新问题
课件原话是四类风险都不是新的。新的是速度、规模和包装。
误解:六格演示说明 AI 一定会编参考文献
演示没有出处,课件自己注明顺序是示意,要说明的是速度。它展示的是有这种可能,以及有多快。
试一下
有人用 AI 一个下午写出十篇格式整齐的综述投给不同期刊。这件事主要体现了三个「新」里的哪两个?
答案
规模(一个人一次产出很多)和速度(一个下午)。如果稿件读起来很专业,也体现了包装。
2. 幻觉:一个填好的答案
它解决什么问题
人们直觉上以为,模型不知道答案时会留空或说不知道。课件指出:幻觉会以一个完整答案的样子出现。
直觉
幻觉是一个填满了的答案,带着一条看起来很真的引用,语气和正确的内容一模一样。
模型自己分不出哪句对、哪句错。人分得出,前提是真的去看。
课件给了一条经验法则:一条说法如果没有你能打开的来源,就当传言处理。
课件还举了一个例子。一篇用 AI 生成的论文,其他地方都很可信,观众却发现了作者没发现的问题:有一条参考文献的年份还没到。
一步一步看
目标:用三道关检查一条 AI 给的说法,看出「未来年份」这种破绽卡在哪一关。
-
第一关,问有没有能打开的来源。这是课件的经验法则:没有,就当传言。
-
第二关,打开来源,看原文是不是真这么说。打不开的、说的是别的事的,都丢掉。
-
第三关,看细节是否合理。参考文献的年份比今天还晚,这条引用不可能存在。
-
回到例子:那篇论文其他地方都可信,单看语气和格式过不了关的只有这一处细节。作者没有逐条打开参考文献,所以没发现。
后两关是把经验法则和「未来年份」这个例子推开的做法,课件本身只给了第一关那句话。
怎么判断
判断口诀:语气和格式不算证据,能打开、对得上、细节合理才算。
| 说法的状态 | 怎么处理 |
|---|---|
| 没有来源 | 当传言,不写进论文 |
| 有来源但打不开或查无此文 | 当捏造信号,丢掉 |
| 能打开但内容对不上 | 丢掉,或改成原文真正说的内容 |
| 能打开、对得上、细节合理 | 可以当来源用 |
意思是:模型分不出对错,核对这一步只能由人来做。
常见误解
误解:引用格式规范、期刊名真实,这条引用就靠得住
课件说幻觉带着看起来很真的引用。格式规范正是包装的一部分,要打开原文才算数。
误解:模型不确定的时候会提醒你
课件说幻觉和正确内容是同一个语气,模型自己分不出差别。
试一下
AI 告诉你「某某理论已被多项研究证实」,没附任何来源。按课件的经验法则怎么处理?
答案
当传言处理。要么自己找到能打开、能核对的来源,要么不写进论文。
3. 微剽窃:署名欠的是想法
它解决什么问题
常规的查重工具比对的是句子。有一种剽窃把句子拆碎了再拼,单句比对抓不到。课件把它叫微剽窃。
直觉
模型读过大量文献。它写出来的东西里,可能混着别人的短语、从句结构,甚至句子节奏。
这些片段被换词、调语序以后,没有哪一句和原文像到能触发简单的查重。
读起来像原创,其实想法是别人的。课件的立场很直接:微剽窃仍然是剽窃,署名欠的是想法,不只是一字不差的那串词。
一步一步看
目标:跟着截取、重组、发表三步,看出每一步怎样让查重更难抓。
-
截取(Cut):模型从吸收过的来源里拿走短语、从句结构和句子节奏。
-
重组(Reassemble):换掉词、调换顺序。没有哪一句和原文像到能触发简单查重。
-
发表(Publish):成品读起来像原创文字。只有模式级的比对,或熟悉这个领域的人,才能发现。
-
结论:查重没报警,不代表没欠署名。想法来自谁,就要注明谁。
怎么判断
判断口诀:问「这个想法从哪来」,不只问「这句话和谁重复」。
| 情形 | 是否算剽窃 |
|---|---|
| 逐字照抄一段,没有引用 | 算 |
| 换词重排一段,没有引用,查重没报警 | 算,这就是微剽窃 |
| 用自己的话转述别人的观点,并注明出处 | 不算 |
意思是:判断看想法的来源,查重分数只是辅助。
常见误解
误解:查重率低就说明没有剽窃
课件说重组后的文字触发不了简单查重。查重只比对字串,署名欠的是想法。
误解:是模型拼的,不是我抄的,所以不算我剽窃
成品署的是你的名字。下文会讲:署名是责任声明,不知道工具做了什么不构成辩护。
试一下
一段 AI 生成的文献综述查重率很低,但领域内的老师读出它的框架和某篇经典综述几乎一样。这算不算剽窃?
答案
算,这正是微剽窃的情形:单句查重抓不到,懂行的人能看出来。想法来自那篇综述,就要注明它。
4. 偏见:继承来的,只能争论
它解决什么问题
一个结论写得整齐、有理有据,容易让人以为它是中立的。课件提醒:模型的结论可能只是在复述训练材料的偏斜。
直觉
模型用一批偏斜的文献训练,就会把偏斜复制出来,而且复制得很流畅。
研究得少的群体、地区和问题,在模型的回答里继续被研究得少。区别是现在还附上了一套体面的理由。
课件说偏见没法像 bug 一样打补丁修掉。它是继承来的,只能和它争论。
一步一步看
目标:用课件的提问顺序,看出为什么要先问训练材料、后问结论。
-
拿到模型的一个结论,先别评价它本身。
-
问模型是用什么训练的。
先问的 为什么 训练材料覆盖了哪些群体、地区、问题 没覆盖到的,结论里也会缺席 训练材料里哪些声音占多数 多数声音会被当成「常识」复述 -
再看结论:缺席的群体、地区、问题,是不是在结论里也缺席了。
-
结论:偏斜会被流畅地包装起来,所以要主动去争论它,不能等它自己暴露。
怎么判断
判断口诀:先问模型用什么训练,再问它得出什么结论。
意思是:结论再整齐,也只能反映它学过的材料;材料偏了,结论就带着同样的偏。
常见误解
误解:偏见是模型的一个 bug,等新版本修好就行
课件说偏见没法当 bug 修掉,它是继承来的,要和它争论。
误解:模型给的理由很充分,所以结论没有偏见
课件说偏斜会附上一套体面的理由一起出现。理由充分属于包装,不能证明没有偏见。
试一下
你让模型总结某个领域的主要研究发现,它给的例子几乎都来自少数几个国家。按课件的思路,你第一步该问什么?
答案
先问模型用什么训练、训练材料覆盖了哪些地区。被研究得少的地区在回答里继续缺席,是偏见的典型样子。
5. AI 为什么不能当作者
它解决什么问题
既然 AI 能写出整篇论文,有人会问:为什么不能把它列为作者?课件的回答落在署名的含义上。
从哪来(补充)
期刊和出版伦理机构已经写出正式立场,结论都是 AI 不能署名。
- Nature 在 2023 年 1 月 24 日的社论里定下两条规则。第一条:大语言模型工具不会被接受为研究论文的署名作者,理由是任何署名都带着对工作的问责,AI 工具承担不了。第二条:用了这类工具要在方法或致谢部分说明。出处:Nature 社论。
- COPE(出版伦理委员会)的立场声明 Authorship and AI tools 页面标注最近审阅于 2023 年 2 月 13 日。它说 AI 工具不能为提交的工作负责,所以不满足作者要求。它还说,AI 不是法律主体,不能声明有无利益冲突,也不能处理版权和许可协议。出处:COPE position。
- ICMJE(国际医学期刊编辑委员会)建议里关于作者使用 AI 的条款写道:聊天机器人等 AI 辅助工具不应列为作者,因为它们无法为工作的准确性、完整性和原创性负责。该条款页面没有标注日期。出处:ICMJE Recommendations。
直觉
署名不是一行致谢。课件说它是一份责任声明,签名的人在说三句话:这是我的工作,我能为它辩护,我能为它被追究责任。
模型一句都接不住:它不能被质询,不能被处罚,也不能表示同意。它没法为这篇论文负责,所以签名栏只能是人。
课件引了一句没标说话人的话:这有点像养孩子,孩子做的事你有时不知道、常常不理解,但作为家长你仍然负责。
课件接着说:不知道工具做了什么,不能拿来辩护,这本身就是过错。
一步一步看
目标:把署名拆成三句声明,逐句看模型能不能接住。
-
第一句「这是我的」:要求署名者同意把名字放上去。模型不能表示同意。
-
第二句「我能为它辩护」:审稿人、读者会追问。模型不能被质询。
-
第三句「我能被追究责任」:出了问题有人承担后果。模型不能被处罚。
-
三句都接不住,结论是课件那句:没有问责,就没有署名。这条规矩比 AI 更老,现在依然成立。
图里左右并排是为了对照,课件列出三个「不能」时没有逐一配对。
怎么判断
判断口诀:能列为作者的,必须能被质询、能被处罚、能表示同意。
| 情形 | 判断 |
|---|---|
| 把 AI 列为共同作者 | 不可以,它不能为论文负责 |
| 作者说「那段是 AI 写的,我也不清楚」 | 不构成辩护,不知道本身就是过错 |
| 作者用了 AI,核对过并能为每句话辩护 | 署作者自己的名字,用法另行披露 |
意思是:用不用 AI 是另一个问题,签名的人要为全文负责这一点不变。
常见误解
误解:AI 写了大部分内容,按贡献就该给它署名
课件说署名不是一行致谢,是责任声明。贡献大小不是标准,能不能被追责才是。
误解:AI 出的错不该算在作者头上
课件的家长比喻和那句话说得很清楚:不知道工具做了什么不构成辩护,这本身就是过错。
试一下
一位研究者想在论文作者栏里写「ChatGPT」,理由是「它写了一半的讨论部分」。用课件的三个「不能」回应他。
答案
署名是责任声明,模型不能被质询、不能被处罚、不能表示同意,没法为论文负责。没有问责就没有署名,讨论部分写得再多也不能署名。
把它们串起来
生成式 AI 的四类风险都不新。幻觉、微剽窃、偏见、捏造,以前都有;AI 带来的是速度、规模和包装。
每一类风险都有一个人来把关的动作。幻觉要打开来源核对;微剽窃要问想法从哪来;偏见要先问训练材料;捏造要逐条检查参考文献,连年份也要看。
这些动作只有人能做,所以签名只能是人。署名是责任声明,模型不能被质询、处罚,也不能表示同意。不知道工具做了什么,不能当作辩护。
下一页讲守则怎样跟上,以及用了 AI 要怎么披露。
课件里的坑
- [无出处] p.21 的「约 15 分钟写出一篇完整论文」和 p.22 的「参考文献年份还没到」,课件都没给这场演示的出处;p.21 自己注明 Sequence illustrative,所以 15 分钟只能写成「课件给出的数字」,不当作已核实的实验结果
- [无出处] p.24 的家长比喻引语,课件没标说话人,引用时写「课件引语」
- [读图提醒] p.22 配图里放大镜下的字是装饰性乱码,不是那条参考文献的原文,别从图里读信息
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写四类风险和三个「新」;再说出幻觉的经验法则和微剽窃三步;最后用三个「不能」解释为什么 AI 不能当作者。
必背
- 四类风险是幻觉、微剽窃、偏见、捏造;它们都不是新问题,新的是速度、规模和包装
- 幻觉是填好的答案:带着像真的引用,和正确内容同一个语气;拿不出能打开的来源的说法,当传言处理
- 微剽窃三步是截取、重组、发表;单句查重抓不到,只有模式级比对或懂行的人能发现;它仍是剽窃,署名欠的是想法,不只是原文字句
- 偏见是继承来的:用偏斜文献训练的模型会流畅地复制偏斜,没法当 bug 修掉,只能和它争论;先问模型用什么训练,再问它得出什么结论
- 课件演示:约 15 分钟生成一篇可信的完整论文,参考文献看似合理、格式规范却是编的;观众发现一条参考文献的年份还没到
- AI 不能当作者:署名是责任声明(这是我的、我能辩护、我能被追责);模型不能被质询、不能被处罚、不能表示同意,没有问责就没有署名
- 不知道工具做了什么不构成辩护,这本身就是过错;用工具的人像家长一样仍要负责
课件例题
例 1(课件 p.21):一杯咖啡的时间写出一篇论文
题面:课件用六格连环画演示:空白页(研究者打开新文档)→ 提示词(题目、方法、目标期刊)→ 倾泻(引言、方法、结果、讨论)→ 参考文献(看似合理、格式规范、却是编的)→ 打印(一份可以直接投的稿件)→ 掌声(全场先佩服、后不安)。课件说约 15 分钟就能写出一篇可信的论文。这场演示要说明什么?哪一格最该让人不安?
提示
课件底部那句话里有 the point is 什么;再看六格里哪一格对应四类风险中的捏造。
解答
演示要说明的是速度:可信的论文能在很短时间里批量产出,课件注明顺序是示意。最该让人不安的是参考文献那一格,它们看似合理、格式规范,却是编的,属于捏造。15 分钟是课件给出的数字,演示没有出处。
例 2(课件 p.22):来自未来的参考文献
题面:上例那篇论文在其他地方都很可信,观众却发现了作者没发现的问题:一条参考文献的年份还没到。这说明了什么?作者本来应该怎么做?
提示
想想幻觉的经验法则,以及「模型分不出差别,人能分出,前提是去看」。
解答
说明这条参考文献是编的,整篇论文读起来可信不代表每条引用都存在。模型分不出对错,作者没去看就没发现。作者应该逐条打开参考文献核对,没有能打开的来源就当传言,不写进论文。
完整例题
题目(自编情境):一名研究生用 AI 一个晚上写完一篇投稿论文。作者栏写「研究生、ChatGPT」。审稿人发现:一条参考文献查无此文;讨论部分有两段和一篇已发表论文的论证结构几乎相同,但查重率很低;结论只引用了少数几个国家的研究。研究生回复:「这些都是 AI 写的,我不清楚。」请按本页内容逐条指出问题。
① 查无此文的参考文献。这是捏造,也是幻觉的典型样子:带着像真的引用。没有能打开的来源,就该当传言,不写进论文。
② 结构几乎相同的两段。这是微剽窃:换词重组后单句查重抓不到,懂行的人能看出来。署名欠的是想法,要注明那篇论文。
③ 只引少数国家的研究。这可能是偏见:训练材料偏斜,结论跟着偏。先问模型用什么训练,再评价结论。
④ 作者栏写 ChatGPT。不可以。署名是责任声明,模型不能被质询、处罚,也不能表示同意。
⑤「AI 写的,我不清楚」。不构成辩护,不知道工具做了什么本身就是过错。签名的人要为全文负责。
变式题(先自己做)
变式 1(改编自课件 p.18):同学让 AI 写文献综述,AI 给出一句「已有研究证实该方法在所有场景下都有效」,后面附了一条格式完整的引用。同学说:「有引用,可以直接用。」按课件的经验法则,你怎么回应?
提示
格式完整属于包装,关键是能不能打开、对不对得上。
判分点与答案(非官方评分标准)
回应:幻觉会带着看起来很真的引用,语气和正确内容一样。要打开那条引用,确认它存在、原文真这么说,年份等细节也合理。打不开就当传言。
判分点:指出格式完整不等于来源可靠;说出课件的经验法则;给出打开核对的动作。
变式 2(改编自课件 p.23–24):一个三人课题组用 AI 跑了一部分数据分析。论文被质疑后,组长说:「分析是 AI 做的,我们不知道它具体怎么算的,责任不在我们。」请用课件的观点反驳,并说明 AI 能不能列入作者。
提示
家长比喻,以及署名的三句责任声明。
判分点与答案(非官方评分标准)
反驳:课件说不知道工具做了什么不构成辩护,这本身就是过错;就像家长不理解孩子做的事,仍要负责。
署名:AI 不能列入作者。署名是责任声明,模型不能被质询、不能被处罚、不能表示同意,没有问责就没有署名。
判分点:引出「不知道不是辩护」;说出三个「不能」;结论是责任在署名的三个人。
闪卡自测
1. 四类风险是哪四类?
幻觉、微剽窃、偏见、捏造(p.17)。
2. 课件说四类风险里什么是新的?
都不是新问题,新的是速度、规模和包装(p.17)。
3. 幻觉和「答不出来」有什么区别?
幻觉是一个填好的答案,带着像真的引用,语气和正确内容一样(p.18)。
4. 幻觉的经验法则?
一条说法如果没有能打开的来源,就当传言处理(p.18)。
5. 微剽窃的三步?
截取(Cut)、重组(Reassemble)、发表(Publish)(p.19)。
6. 谁能发现微剽窃?
模式级的比对,或熟悉这个领域的人;简单的单句查重抓不到(p.19)。
7. 署名欠的是什么?
想法,不只是一字不差的那串词(p.19)。
8. 面对模型的结论,课件要求先问什么?
先问模型用什么训练,再问它得出什么结论(p.20)。
9. 咖啡时间演示里,论文花了多久?
课件给出的数字是约 15 分钟,并注明顺序是示意(p.21)。
10. 观众在那篇论文里发现了什么?
一条参考文献的年份还没到(p.22)。
11. 模型不能做的三件事?
不能被质询、不能被处罚、不能表示同意,所以不能当作者(p.23)。
12. 「不知道工具做了什么」算不算辩护?
不算,这本身就是过错(p.24)。
下一讲
下一页 L10d 讲守则为什么追不上技术、为什么要写成活指南,以及用了 AI 后披露的何时、写什么、写在哪。回到 课程目录 可以按讲次复习。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。