← DSAI5T09 全部讲次
L10a · 第 12 周

L10a 生成式 AI 能帮研究做什么:流畅不等于正确,每一步都留人核查

从零讲清这一讲的开头:生成式 AI 是什么、为什么读起来对不等于是对的;它帮得上研究的四个机会;机会 1 文献检索里参考文献只能当线索;机会 2 数据、代码、分析的四张卡,审计痕迹和四阶段四检查点。

一句话版

生成式 AI 写得流畅,不保证写得对;它在找文献、收数据、写代码、做分析时确实帮得上忙,前提是每一步都有人核查、有记录可查。

先认识这几个词

词 全称 / 读法 一句人话
生成式 AI generative AI,课件缩写 GAI 用日常语言下指令,它当场写出新内容的软件
续写 continuation 接着你给的内容,往下写出最顺的那一段
提示词 prompt 你输入给模型的那段请求
过拟合 overfitting 分析被调得太贴合手头这批数据,换一批就不成立
事先定好的分析方案 pre-committed specification 看结果之前就写死要跑哪些分析
审计痕迹 audit trail 能让别人复查的记录:提示词、脚本、核查过程

一个类比:很能干的新助理

研究组来了一位新助理,写东西很快,语气永远笃定。你让他列文献,他十分钟交一页;让他写脚本,他马上给出能跑的代码。

他的问题是:说对的时候和说错的时候,口气一模一样。所以组长定了规矩。他列的每篇文献,你都要亲自找到原文;他写的代码,你要读过、拿已知数据试过;他交的每份东西,都要留底稿。

这位助理确实帮大忙,签字的始终是你。

类比在哪里失效:

  1. 真助理可以被追问、被批评、被辞退;模型不能,出了错仍由研究者负责。
  2. 真助理会说「这个我不确定」;模型的答案里没有任何记号标出它对不对。
  3. 真助理查文献是去图书馆查;模型是按最合理的续写把文献「写」出来。

从零讲起

1. 生成式 AI 是什么:流畅不等于正确

它解决什么问题

很多人第一次用生成式 AI,会把它当成更聪明的搜索引擎。这个误会很危险:搜索引擎找的是已有的网页,生成式 AI 交给你的是它现写的内容。先弄清它怎么产出答案,才知道哪些地方必须核对。

从哪来(补充)

大语言模型(large language model)是今天大多数生成式 AI 文字工具的底子。按维基百科的说法,GPT 一类的模型先在大量数据上训练「预测下一个词」,再微调成会听指令的助手。它学的是猜一段文字怎么接下去,比如「我喜欢吃」后面更可能接「面包」还是「石头」;猜的依据是训练数据里文字序列的规律。出处:Large language model, Wikipedia。

模型一本正经地给出错误内容,业内叫「幻觉」(hallucination),也有人叫 confabulation。维基百科的定义是:AI 生成的回答里含有错误或误导性的信息,却当作事实呈现;基于大语言模型的聊天机器人可能在内容里夹进听起来合理的虚假内容,例如捏造的引用。也有工程师和统计学者批评这个词把计算机拟人化了。出处:Hallucination (artificial intelligence), Wikipedia。

直觉

课件的说法很直白:生成式 AI 是你用日常语言下指令的软件。你打一段请求,它写回新的文字、代码、图片或音频,内容是当场组装的。

它不去数据库里查一个审定过的答案。它产出的是「接着你给的内容,最合理的续写」。

所以它读起来总是通顺的,哪怕内容是错的。课件红框里的话是:流畅不等于正确,答案本身不会告诉你读到的是哪一种。

一步一步看

目标:跟着一次提问走一遍,看出为什么「读起来顺」给不了任何对错信号。

  1. 你用日常语言写下请求,例如让它概括某个研究领域的主要发现。

  2. 模型不查答案库,按「最合理的续写」当场组装出一段文字。

    生成式 AI 示意:左边是用日常语言写的请求,中间生成式 AI 当场组装最合理的续写、不查标准答案库,右边产出两段同样通顺的学术文字,一段其实对一段其实错,底部青绿框写两份答案语气一样自信,读者只能自己核对

  3. 产出的文字可能对,也可能错。两种情况下,它的语气、格式、用词都一样像样。

  4. 结论:通顺是这类模型的常态,不是正确的证据。要知道对不对,只能拿原始材料去核。

怎么判断

判断口诀:看到一段流畅的 AI 回答,先问:这句话我能拿什么原始材料去核?

情况 能不能直接用 原因
回答读起来很专业 不能 流畅是常态,不说明对
回答附了引用 不能直接用 引用本身也可能是写出来的
你拿原文核过一遍 可以用 核对的是事实,不是语气

意思是:判断对错的依据在模型外面,在原文、原始数据和你自己的检查里。

常见误解

误解:生成式 AI 就是更高级的搜索引擎

搜索引擎返回已有的网页;生成式 AI 交给你的是按最合理的续写当场组装的内容,不去查审定过的答案。

误解:它说得很肯定,就说明它有把握

课件说答案里没有任何东西告诉你读到的是对的还是错的。语气笃定和内容正确没有关系。

试一下

同学说:「我问了两次,模型两次给的答案一样,所以肯定是对的。」这个推理哪里有问题?

答案

两次一样只说明模型对这个问题的续写比较稳定,不说明内容对。对不对仍要拿原文或原始数据去核。

2. 四个机会:辅助,不替代

它解决什么问题

知道了模型会出错,下一个问题是:那它到底能帮研究做什么?课件先给了一张总览,列出四件它真帮得上的事,以及这四件事的共同条件。

直觉

课件的态度是:这项技术在「辅助」时是好事,在「替代」时就出问题。

四个机会是:灵感与文献检索;更快的数据收集、写代码和分析;让英语非母语的作者站在公平的起点;编辑部里的质量控制。

四件事的共同点写在课件的绿框里:每个好用法都留着一个人,由他来决定接受什么。

一步一步看

目标:把四个机会排出来,看出它们共用的那个条件。

  1. 列出四个机会。

    四个机会示意:机会 1 灵感与文献检索,机会 2 数据收集、写代码、分析,机会 3 非英语母语作者的公平起点,机会 4 编辑部的质量控制,前两个标本页;底部青绿框写共同点:每个好用法都留一个人来决定接受什么

  2. 每个机会里,找出「谁做最后决定」。

    机会 模型做什么 人决定什么
    灵感与文献检索 提出文献和检索词 哪些文献真实存在、留不留
    数据、代码、分析 收集、写脚本、探索模型 什么算有效观测、结果对不对
    英语写作 改语言 论点和证据是不是自己的
    编辑部质控 筛查来稿 稿件怎么处理
  3. 结论:四个机会都把最后的「接受或不接受」留给人。本页讲前两个,后两个在下一页。

怎么判断

判断口诀:一种用法算不算好用法,看最后拍板的是不是人。

意思是:同样一个工具,用来给人提供素材是辅助;让它的输出不经检查直接进论文,就成了替代。

常见误解

误解:课件列了四个机会,说明这四种用法随便用

每个机会都带条件。比如文献检索的结论是可以接受,条件是核查;后面几个机会也各有条件。

误解:辅助和替代的区别在于用得多还是少

区别在谁做决定。用得再多,只要每一步都由人决定接受什么,仍是辅助。

试一下

一位研究者让模型直接写出论文的结论段,没看就提交了。按四个机会的共同点,这属于哪种用法?

答案

属于替代。没有人决定接受什么,模型的输出直接进了论文,违背了四个机会的共同点。

3. 机会 1:灵感与文献检索

它解决什么问题

刚开始一个研究题目时,最难的是不知道该读什么。搜索框只能找你想得到的关键词。模型能帮你打开一些你本来想不到的门。

直觉

课件说,模型在「开门」这件事上比搜索框强。「比传统搜索引擎更精巧」是它的承诺;核查仍然是你的事。

课件的案例:一位博士生只有一个模糊的问题和三周阅读时间。模型给他提出了相邻领域的文献、对立的研究框架,还有他自己绝不会想到去搜的检索词。

接下来每条参考文献都被打开,对照真实的论文,再决定留下还是丢掉。

课件的总结是:模型提供地图,它没法告诉你哪些论文真实存在。

一步一步看

目标:沿着博士生的做法走一遍,看出核查落在哪一步。

  1. 带着一个模糊的问题去问模型。

  2. 模型返回三类东西:相邻的文献、对立的框架、想不到的检索词。

  3. 把每一条参考文献当成线索,逐条打开,对照真实论文。

    参考文献核查流程:模型提出相邻的文献、对立的框架和想不到的检索词,每一条参考文献进入青绿标出的打开对照真实论文一步,再分成留下或丢掉;底部写模型给的是地图,不知道哪些论文真实存在

  4. 核得上就留下,核不上就丢掉。

  5. 结论:模型负责开门,研究者负责确认门后真有东西。

怎么判断

判断口诀:模型给的每条参考文献,在你亲手打开之前都只是线索。

你对一条参考文献做了什么 能不能写进论文
只看了模型给的题目和摘要 不能
搜到了同名论文,没读内容 不能放心用,内容可能对不上
打开原文,确认它说了你要引的话 可以

意思是:核查的对象是论文本身,题目对得上还不够,内容也要对得上。

常见误解

误解:模型给的参考文献格式规范、作者期刊齐全,应该是真的

格式完整不代表存在。模型给的是地图,没法告诉你哪些论文真实存在,只能一条条打开核对。

误解:既然要逐条核查,用模型找文献就没意义

课件的结论是可以接受。模型的价值在于提出你想不到的方向和检索词,这一步搜索框做不到;核查是使用条件。

试一下

模型给了你八条参考文献,你核查后发现其中两条找不到原文。剩下的六条可以直接全部引用吗?

答案

不能直接全部引用。找得到原文还要确认内容和你引用的说法对得上;对不上的照样丢掉。那两条找不到的直接丢掉。

4. 机会 2:数据、代码、分析,以及四个检查点

它解决什么问题

研究里很多时间花在清理数据、写脚本、反复试模型上。模型能把这些活做得更快。问题是做得越快,出错和走偏也越快,所以课件给每一段都配了一个检查点。

直觉

课件用四张卡讲这个机会:

  1. 收集(Collect):有结构地收集和清理实地数据,由研究者决定什么算一条有效观测。
  2. 写代码(Code):生成和调试脚本,分析写得更快、更一致。
  3. 分析(Analyse):快速探索模型和图表。速度会招来过拟合,所以分析方案必须事先定好。
  4. 核查(Verify):研究者把每个输出都对照原始数据检查。流畅的答案不等于正确的答案。

卡片下面压着一句话:留下审计痕迹。如果拿不出提示词、脚本和核查记录,你就没法为那个数字辩护。

下一页课件换了个角度,把研究分成四个阶段,每个阶段写清模型能做什么、人要查什么。

一步一步看

目标:按四个阶段走一遍,看出每一段模型做了什么、人要查什么。

四阶段四检查点:数据收集、写代码、分析、写作汇报四列,上格是模型可以做的事,下格青绿标出的检查点分别是变量追溯到真实观测、读代码用已知数据测试留版本、不靠模型复现结果、每句话对得上真有的数据

  1. 数据收集:模型可以起草调查工具、整理访谈稿、标出缺失值、建议编码方案。检查点是每个变量都能追溯到一次真实观测。

  2. 写代码:模型可以生成分析脚本、解释报错、在编程语言之间翻译。检查点是读代码、用已知数据测试、保留版本。

  3. 分析:模型可以建议模型、写敏感性检验、补做你本来会跳过的稳健性检验。检查点是不靠模型帮忙,自己把结果复现出来。

  4. 写作汇报:模型可以起草方法部分、理顺结构、排表格和参考文献。检查点是每句话都对得上你手里真有的数据。

  5. 结论:模型能让每一段变快,每一段的核查仍由研究者自己做,并留下记录。

阶段 检查点
数据收集 每个变量追溯到真实观测
写代码 读代码、用已知数据测试、留版本
分析 不靠模型复现结果
写作汇报 每句话对得上真有的数据

怎么判断

判断一种用法是否合规,按三问走:

  1. 这一步落在哪个阶段?
  2. 这个阶段的检查点做了吗?
  3. 提示词、脚本和核查记录留下了吗,别人能复查吗?

意思是:三问都答得上,才算把速度换来的风险管住了。任何一问答不上,那个数字就没法辩护。

常见误解

误解:模型跑出的结果显著,换几种模型都显著,说明结论稳

课件说速度会招来过拟合。试得越快越多,越容易挑到碰巧好看的结果。分析方案要在看结果之前定好。

误解:代码能跑通、没报错,就说明是对的

能跑通只说明语法没问题。检查点要求读代码、用已知答案的数据测试,并保留版本。

误解:核查只是最后一步的事

四张卡把核查单列成第四张,四阶段那页把核查拆进了每个阶段。两页合起来看,每一段都要查。

试一下

一位学生让模型写了清理数据的脚本,跑完直接拿去做回归,提示词没保存。按四阶段四检查点,他漏了哪些事?

答案

写代码阶段:没读代码、没用已知数据测试、没保留版本。审计痕迹:提示词没保存,别人没法复查。分析阶段还要能不靠模型复现回归结果。

把它们串起来

这一讲分四段:机会、风险、问责、系统。本页只讲机会的前两个。

起点是理解生成式 AI 怎么产出答案。它按最合理的续写当场组装内容,所以流畅不等于正确,答案本身也不标对错。

由此推出四个机会的共同条件:人来决定接受什么。

落到机会 1,就是参考文献只当线索,逐条打开核对。落到机会 2,就是四张卡和四个检查点:每个阶段都有一件只能由人做的检查,并且留下提示词、脚本和核查记录。

后两个机会和数据安全见 L10b。

课件里的坑

  • [两处分法不同] p.6–7 的四张卡是 Collect / Code / Analyse / Verify;p.8 的四阶段是 Data collection / Code / Analysis / Reporting,核查拆进了每个阶段的 Check 行。两页不矛盾,但第四项不同,答题时别把 Verify 当成第四阶段,也别漏了 Reporting
  • [编号出入] p.4 列了四个机会,第三条是非英语母语作者的公平起点;后面 p.9、p.10 两页都标 OPPORTUNITY 3,p.10 讲的「副导师」用法不在 p.4 的四条里。答题时四个机会按 p.4 列,细节见 L10b

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写四个机会和它们的共同点;再画出四阶段四检查点表;最后做一遍课件例题和变式题。

必背

  1. 生成式 AI 用日常语言下指令,当场组装出文字、代码、图片或音频;它产出最合理的续写,不去数据库查标准答案,所以流畅不等于正确,答案里也没有记号告诉你哪句对
  2. 四个机会:灵感与文献检索;数据收集、写代码、分析;非英语母语作者的公平起点;编辑部的质量控制。好用法是辅助不替代,每一个都留人来决定接受什么
  3. 机会 1 的结论是可以接受、条件是核查:模型给地图,不知道哪些论文真实存在;每条参考文献当线索不当来源,打开对照原文,留下或丢掉
  4. 机会 2 的四张卡是 Collect、Code、Analyse、Verify:研究者决定什么算有效观测;脚本写得更快更一致;速度招来过拟合,分析方案要事先定好;每个输出都对照原始数据核查
  5. 留审计痕迹:拿不出提示词、脚本和核查记录,就没法为那个数字辩护
  6. 四阶段四检查点:数据收集要每个变量追溯到真实观测;代码要读、用已知数据测试、保留版本;分析要不靠模型复现结果;写作汇报要每句话对得上手里真有的数据
  7. 四张卡的第四项是 Verify,四阶段的第四项是 Reporting,核查拆进了每个阶段的检查点,两种分法别混

课件例题

例 1(课件 p.5):博士生用模型找文献

题面:一位博士生有一个模糊的研究问题和三周阅读时间。他用模型找方向,模型提出了相邻领域的文献、对立的研究框架和他想不到的检索词。这种用法可以接受吗?要满足什么条件?

提示

想想模型能提供什么、不能保证什么。

解答

课件结论:ACCEPTABLE, WITH VERIFICATION(可以接受,条件是核查)。模型提供地图,比搜索框更会开门;它没法告诉你哪些论文真实存在。每条参考文献当线索不当来源,打开对照真实论文,留下或丢掉(Open it or drop it)。

完整例题

自编情境:一位研究生做问卷研究,四个阶段都用了模型。① 让模型建议编码方案并标出缺失值;② 让模型写清理和分析脚本;③ 让模型建议模型,并试了好几种模型,挑出结果最显著的那个;④ 让模型起草方法部分。按本页内容,逐段写出该做的检查,并指出哪一步有额外风险。

① 数据收集。检查点:每个变量都能追溯到一次真实观测。模型建议的编码方案可以用,什么算有效观测由研究者决定。

② 写代码。检查点:读代码,用已知答案的数据测试,保留版本。脚本能跑通不算通过。

③ 分析。这一步有额外风险:试了好几种模型再挑最显著的,正是课件说的速度招来过拟合。补救是事先定好分析方案,并且不靠模型把结果复现出来。

④ 写作汇报。检查点:方法部分每句话都对得上手里真有的数据,没做过的检验不能写进去。

⑤ 全程。留下审计痕迹:提示词、脚本、核查记录。拿不出来,就没法为论文里的数字辩护。

变式题(先自己做)

变式 1(自编情境):一位学生让模型「帮我找五篇支持这个观点的论文」,模型给了五条,格式完整。他把五条直接放进参考文献表。按课件,指出问题并写出正确做法。

提示

线索和来源的区别;模型知不知道论文是否存在。

判分点与答案(非官方评分标准)

问题:把线索当来源。模型给的是地图,不知道哪些论文真实存在,格式完整不代表存在。

做法:逐条打开原文,对照真实论文;核不上的丢掉;找得到的还要确认内容支持所引用的说法。

判分点:指出「线索不当来源」;写出「打开或丢掉」;说明课件结论是可以接受、条件是核查。

变式 2(自编情境):一份分析报告写道:「本研究用 AI 完成了数据清理和统计分析,结果稳健。」按四张卡和四阶段四检查点,审稿人应追问哪些事?

提示

每个阶段的检查点,加上审计痕迹。

判分点与答案(非官方评分标准)

数据:清理后每个变量能否追溯到真实观测,谁决定了什么算有效观测。

代码:脚本有没有人读过,有没有用已知数据测试,版本是否保留。

分析:方案是否事先定好;能否不靠模型复现结果;「稳健」做了哪些敏感性和稳健性检验。

痕迹:能否拿出提示词、脚本和核查记录。

判分点:至少覆盖三个阶段的检查点;提到过拟合或事先定好方案;提到审计痕迹。

闪卡自测

1. 生成式 AI 的输出为什么读起来对不等于是对的?

它产出最合理的续写,不查数据库里的标准答案;答案里没有记号告诉你哪句对(p.3)。

2. 课件说这项技术什么时候是好事?

辅助而不替代的时候(p.4)。

3. 四个机会是哪四个?

灵感与文献检索;数据收集、写代码、分析;非英语母语作者的公平起点;编辑部的质量控制(p.4)。

4. 四个机会的共同点?

每个好用法都留一个人来决定接受什么(p.4)。

5. 机会 1 的结论和条件?

ACCEPTABLE, WITH VERIFICATION;每条参考文献当线索不当来源,Open it or drop it(p.5)。

6. 模型在文献检索里不能告诉你什么?

哪些论文真实存在。模型提供地图(p.5)。

7. 机会 2 的四张卡?

Collect、Code、Analyse、Verify(p.6–7)。

8. 为什么分析方案要事先定好?

速度会招来过拟合(p.7)。

9. 审计痕迹包括哪三样?

提示词、脚本、核查记录;拿不出来就没法为数字辩护(p.7)。

10. 分析阶段的检查点?

不靠模型帮忙把结果复现出来(p.8)。

11. 写作汇报阶段的检查点?

每句话都对得上手里真有的数据(p.8)。

下一讲

下一页 L10b 接着讲后两个机会:语言辅导、把模型当副导师式的用法、编辑部的质量控制,以及粘贴进去的数据去哪了。回到 课程目录 可以按讲次复习。

下一讲 →
L10b L10b 辅导、编辑部与数据去向:AI 能帮忙,签字和保密还在人手里

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。