← COMP5511 全部讲次
L09a · 第 9 周

L09a 从大模型到 Agent:会答题的模型,怎样变成会动手的系统

从零讲大模型怎样一个字一个字地写,RAG 为什么要先查资料,Agent 在模型外面加了什么,以及 Think → Act → Observe 的 ReAct 循环怎样一轮一轮推进任务。

一句话版

大语言模型(LLM)只会做一件事:读进一段文字,一个字一个字地往下写。Agent 在它外面搭了一层系统,给它配上记忆和工具,让它能动手做事、看结果、再决定下一步。

这一讲是嘉宾讲座,分三页。这一页讲从模型到 Agent 的基本区分;Agent 的五个等级和多 Agent 怎样分工见 L09a-2;上下文、记忆和自进化见 L09a-3。

先认识这几个词

词 全称 / 读法 一句人话
LLM Large Language Model,大语言模型 读一段字、接着往下写的模型
token 读「头肯」 模型一次读写的最小单位,中文大致是一个字或半个词
无状态 stateless 模型不记得上一次调用,每次只看这次给它的字
RAG Retrieval-Augmented Generation,检索增强生成 先去资料库查,再把查到的资料连同问题交给模型
Agent 智能体 围绕模型搭起来、能用工具对外做事的系统
ReAct Reason + Act 想一步、做一步、看结果,再想下一步的循环
Harness 原意是马具、挽具 包在模型外面、约束和驱动它干活的整套系统

一个类比:一位只会口述的顾问

设想一位很懂行的顾问,被关在一间没有窗户的屋子里。你从门缝塞进一张纸条,他读完写一段回复塞出来。他不记得你上次问过什么,每张纸条都从零开始读。这就是 LLM。

想让他答得更准,你可以先去档案室把相关资料复印好,和问题一起塞进去。这是 RAG。

再进一步,你给屋子装上电话和电脑,配一个秘书替他记事。顾问说「查一下库存」,秘书就去查,把结果递回来,顾问再决定下一步。整间屋子加上秘书和设备,才是 Agent。

类比在哪里失效:

  • 真人顾问多少会记得些事情。LLM 是彻底的无状态,一次调用结束,里面什么都不留。
  • 秘书只是跑腿。Agent 外面那层系统还会决定给模型看什么、什么时候停、出错了怎么恢复,比秘书管得多。

从零讲起

1. 先补一块:大模型怎样一个字一个字地写(补充)

它解决什么问题

要分清 LLM 和 Agent,先得知道 LLM 本身到底在干什么。课件给它的定义很短:无状态的文本到文本转换器,自回归地预测 token。这一节把这句话拆开讲。

从哪来(补充)

今天的大语言模型几乎都建在 Transformer 结构上。这个结构出自 2017 年的论文《Attention Is All You Need》,作者是 Google 的八位研究者。课件第一张背景图右边画的就是它。

出处:Wikipedia: Attention Is All You Need

直觉

手机输入法会在你打字时猜下一个词。LLM 做的是同一件事,只是猜得准得多。它读进一串字,算出下一个字最可能是什么,吐出来。

吐出来的这个字马上被接到输入末尾,模型再读一遍整串,猜下一个。一直这样接下去,直到写完。这种「用自己刚写的字当下一步的输入」的写法,就叫自回归。

一步一步看

目标:用「我想喝」走三步续写,看模型每次只吐一个字再接回输入,写完也不记得写过什么。

用「我想喝」做开头,看模型怎样往下写。

  1. 模型读进「我想喝」,猜下一个字是「一」。

    第 1 步:三个字格「我」「想」「喝」送进 LLM 方框,方框右边吐出一个青绿描边的新字格「一」,下方注明模型每次只吐一个 token

  2. 「一」被接到输入末尾。模型读「我想喝一」,猜出「杯」。

    第 2 步:输入变成「我」「想」「喝」「一」四格,其中「一」是灰底,表示上一步自己吐出、又被接回输入的字;LLM 吐出青绿的「杯」

  3. 再接上「杯」,模型读「我想喝一杯」,猜出「水」。

    第 3 步:输入是「我」「想」「喝」「一」「杯」五格,最后一格灰底;LLM 吐出青绿的「水」,整句变成我想喝一杯水

  4. 写完以后,这次调用就结束了。下一次你再问它,它不会记得刚才写过「我想喝一杯水」。

怎么判断

判断一个说法对 LLM 是否成立,抓两点。

  • 它只做文本到文本。输入是字,输出也是字。它自己不会去上网、不会改文件,它能做的只是写出「我想去上网」这几个字。
  • 它无状态。每次调用只看这一次给它的输入。聊天软件里它「记得」你前面说过的话,是因为软件每一轮都把整段聊天记录重新塞给它。

所以,看到「模型记住了我的偏好」「模型自己查了资料」这类描述,要追问一句:是谁替它记的、谁替它查的?答案总是模型外面的那层系统。

常见误解

以为模型会把聊天内容存在自己身上,越聊越了解你

一次调用结束,模型内部什么也不留。它在同一个对话里能接上前文,是因为外层程序每一轮都把历史消息拼进输入。换一个新对话、不给历史,它就什么都不知道了。

以为模型是先想好整句话,再一次性写出来

它一次只吐一个 token。每吐一个,就把它接回输入、再算下一个。整句话是这样一步一步接出来的。

试一下

模型读进「今天天气」,前三步依次吐出「很」「好」「。」。第三步时,它读进的完整输入是什么?

是「今天天气很好」。前两步吐出的「很」和「好」都已经接回了输入末尾,第三步就在这串字后面猜出「。」。

一个聊天应用每轮只把用户最新的一句话发给模型,不发历史。用户说「我叫小林」,下一轮问「我叫什么」,模型能答对吗?

答不对。模型无状态,第二轮的输入里只有「我叫什么」,没有「我叫小林」。想让它答对,应用得把上一轮的对话一起发进去。

2. RAG:回答之前先去查资料

它解决什么问题

模型只知道训练时见过的东西。问它公司内部的规章、昨天的新闻,它要么不知道,要么编一个看似合理的答案。RAG 的办法是:回答之前先去资料库把相关内容找出来,和问题一起交给模型。

从哪来(补充)

RAG 这个名字出自 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》,第一作者 Patrick Lewis,发表在 NeurIPS 2020。论文的思路就是先检索、再生成。

出处:Wikipedia: Retrieval-augmented generation

直觉

开卷考试。闭卷时你只能凭记忆答;开卷时你先翻书找到相关的那几页,再照着写。模型还是那个模型,区别只在答题时手边多了几页对的资料。

一步一步看

目标:跟着「明天要带伞吗」走一遍 RAG,看它比纯 LLM 只多了检索这一步,到答案就结束。

用户问:「明天要带伞吗?」

  1. 问题先送去检索资料库,按问题找出相关资料,比如明天的天气预报。

  2. 检索到的资料和原来的问题拼在一起,组成一段更长的输入。

  3. 这段输入交给 LLM。LLM 读完,照常一个字一个字地续写。

  4. 输出答案「明天有雨,建议带伞」,流程结束。

    RAG 流程图:问题框指向青绿描边的检索资料库框,再指向拼进提示框,然后交给 LLM,LLM 输出答案;下方注明检索是比纯 LLM 多出来的一步,流程到答案就结束,不会回头再来一轮

怎么判断

拿到一个系统,问两个问题。

  • 回答之前,有没有先去外部资料里查?有,就至少用了 RAG。
  • 答完以后,有没有对外做事、再根据结果继续?没有,就停在 RAG,还算不上 Agent。

RAG 只改了「模型看到什么」,没有改「模型能做什么」。

常见误解

以为接了知识库的客服机器人就是 Agent

只检索、只回答,它是 RAG。Agent 还要能调用工具对外采取行动,并根据行动的结果决定下一步。客服机器人若能自己去订单系统改地址、再确认改成功,才往 Agent 那边靠。

试一下

一个问答系统收到问题后,先搜索公司文档,挑出三段最相关的放进提示,再让模型回答。它是 LLM、RAG 还是 Agent?

RAG。它多了检索这一步,但输出仍然只是一段回答,没有对外行动,也没有根据结果再来一轮。

3. Agent:围绕模型搭起来的系统

它解决什么问题

很多任务一次答不完。修一个程序报错,要先找原因、再改代码、再跑测试,每一步做什么取决于上一步看到了什么。只会续写的模型干不了这种活,需要外面有一层系统替它动手、替它记事、把结果喂回来。这层系统加上模型,就是 Agent。

直觉

模型是大脑。Agent 是给大脑配上手(工具)、笔记本(记忆)和一套做事的规矩,让它能真的把一件事办完。

把三条流程并排看,每往下一行多一样东西。LLM 一问一答;RAG 在输入里多塞了资料;Agent 让模型带着记忆和工具,把答案变成对外的行动,行动的结果再回到下一轮。

三行流程对照:第一行 LLM,提示进 LLM 出答案;第二行 RAG,提示加检索资料进 LLM 出答案;第三行 Agent,提示进入带记忆和工具的 LLM,输出答案并变成行动,一条青绿箭头把行动结果绕回下一轮

一步一步看

目标:拿替你整理邮件的任务逐条对上六个特征,看每个特征落在实际任务的哪个动作上。

课件给 Agent 列了六个特征。拿「替你整理一周邮件」这个任务,逐条对上。

  1. 自主行动:你不用一直盯着,它自己一封封读。遇到要删邮件这种大动作,可以设成先问你,这叫人在环里(human in the loop)。
  2. 记忆:它记得你上周说过「广告邮件直接归档」,这次照做。
  3. LLM 负责决策:每封邮件该回复、归档还是标重要,由模型判断。
  4. 感知环境:它能读到邮箱里的新邮件,知道哪封已经处理过。
  5. 使用工具:读邮件、移动邮件、写草稿,都是调用邮箱的接口。
  6. 协作:碰到要排会议的邮件,它把日程那部分交给另一个管日历的 Agent。
特征 在这个任务里对应什么
自主行动 自己逐封处理,删除前问你
记忆 记得「广告直接归档」
LLM 决策 判断每封邮件怎么处理
感知环境 读到新邮件和处理状态
使用工具 调用邮箱接口
协作 把排会议交给日历 Agent

怎么判断

它是不是 Agent:看三样有没有齐。一是能调用工具对外做事;二是能根据做事的结果决定下一步;三是有一层系统在管记忆和流程。只有第一样、做完就停,更像一个会调接口的脚本。

它的工程做在哪一层:课件把围绕模型的工程分成三层,一层包一层。

三个同心框,从内到外是 Prompt 工程(我该怎么问:角色与示例、思维链)、Context 工程(模型该看到什么:RAG 与记忆、工具定义、对话历史)、Harness 工程(整个环境该怎么设计:架构约束、工作流控制、反馈与恢复循环、可观测性与评估),最里面是模型,最外层青绿描边,底部写 AGENT = MODEL + HARNESS

层 问的问题 改的是什么
Prompt 工程 我该怎么问? 指令本身:角色、示例、思维链
Context 工程 模型该看到什么? 输入窗口:RAG 和记忆、工具定义、对话历史
Harness 工程 整个环境该怎么设计? 模型周围的系统:架构约束、流程控制、出错恢复、评估

三层是包含关系,外层包住内层。上一节的 RAG 属于 Context 这一层。课件右下角那句 AGENT = MODEL + HARNESS 说的就是:Agent 等于模型加上外面这整套系统。

常见误解

以为 Agent 就该完全自主,有人插手就不算 Agent

课件写第一个特征时特意说明:Agent 可以自主行动,也可以让人留在环里保持控制,两者不冲突。高风险动作要求人工批准,恰恰是成熟 Agent 的常见设计。

以为把提示词写好,就是在做 Agent 工程

提示词只是最里面那一层。模型看到哪些资料、能用哪些工具、出错了怎么恢复、怎么评估做得好不好,属于 Context 和 Harness 两层,Agent 的大部分工程量在这两层。

试一下

一个系统能根据用户描述生成一段 SQL,但不会去执行,生成完就结束。按 Agent 的六个特征看,它最缺的是哪几项?

它不使用工具(不执行 SQL),也没有感知环境(看不到执行结果),因此谈不上根据结果继续。它更像 LLM 加一段固定提示,离 Agent 还差工具和行动、循环这几样。

给模型加一段「你是一位资深会计」的角色设定,和给它接上公司的报销数据库,分别属于哪一层工程?

角色设定属于 Prompt 工程,改的是怎么问。接数据库让模型能查到报销记录,改的是模型能看到什么,属于 Context 工程。

4. ReAct 循环:想一步、做一步、看一眼

它解决什么问题

Agent 能用工具了,接下来的问题是:先用哪个、用完怎么办?ReAct 给出一个固定的节奏:先思考(Think),再行动(Act),再观察结果(Observe),然后带着结果回去思考下一步,直到任务完成。

从哪来(补充)

ReAct 出自论文《ReAct: Synergizing Reasoning and Acting in Language Models》,作者是 Princeton 和 Google Research 的 Shunyu Yao 等人。论文 2022 年 10 月首次公开,发表在 ICLR 2023。做法就是让模型交替写出推理和动作,再读回观察结果。

出处:ICLR 2023 论文页;代码 GitHub: ysymyth/ReAct

直觉

医生看病:先根据症状猜可能的病因(想),开一项化验(做),拿到化验单(看)。化验结果排除了一种可能,医生再想下一步该查什么。每一步查什么,都取决于上一步的结果。

一步一步看

目标:跟着修报错走两轮 Think、Act、Observe,看每一步怎样依据上一步的观察来定,直到完成。

任务:「修好这个报错」。每一帧里,青绿粗框是这一步正在做的环节,灰底是做完的,黑框是排在后面的。

  1. Think:报错说找不到文件,可能是路径写错了。决定先用搜索工具找这个文件。

    ReAct 第 1 步:用户的任务框指向青绿粗框 Think 思考,Think、Act、Observe 三框连成一个环,Observe 用虚线连到 Done;下方写思考报错说找不到文件,可能是路径写错了

  2. Act:调用搜索工具,按文件名查找。这一步真的对外做了事。

    ReAct 第 2 步:Think 已灰底,青绿箭头从 Think 指向青绿粗框 Act 行动;下方写调用搜索工具,按文件名查找

  3. Observe:搜索结果显示,文件存在,只是在另一层目录里。

    ReAct 第 3 步:Think 和 Act 已灰底,青绿箭头从 Act 指向青绿粗框 Observe 观察;下方写文件确实存在,但在另一层目录里

  4. 回到 Think:带着这个结果开始第二轮。想「把路径改对」,做「改代码、跑测试」,看「测试通过」。

    ReAct 第 4 步:青绿箭头从 Observe 绕回青绿粗框 Think,Act 和 Observe 为黑框表示下一轮还要经过;下方写第二轮思考把路径改对、行动改代码跑测试、观察测试通过

  5. Done:观察到测试通过,判断任务完成,交付修好的代码。

    ReAct 第 5 步:Think、Act、Observe 都已灰底,青绿箭头从 Observe 指向青绿粗框 Done 完成;下方写任务完成,交付修好的代码

怎么判断

看一个系统是不是在跑 ReAct 循环,问一句:下一步做什么,是谁定的?

  • 如果步骤是人事先画好的,模型只在某些节点上生成内容,那是固定工作流。
  • 如果每做完一步,模型都要看结果再决定下一步,就是 ReAct 循环。

第二点就是课件说的「从写死的工作流,变成由模型自主调用工具驱动的循环」。工具大致分三类:系统内置的(编辑文件、执行命令、搜索),经 MCP 协议接进来的外部服务,以及把一套做事方法打包好的 Skills。

常见误解

以为 ReAct 就是让模型调一次工具

调一次工具、拿到结果就结束,只走了半圈。ReAct 的要点在循环:结果回到思考,决定下一步,直到判断完成。

以为 Observe 这一步是人在看结果

Observe 是把工具返回的结果交回给模型读。人可以在旁边监督,但循环本身不需要人参与每一步。

试一下

一个 Agent 要订一张明天去北京的最便宜机票。写出它可能的前两轮 Think → Act → Observe。

第一轮:想「先查明天所有航班的价格」,做「调用航班搜索」,看「最便宜的是早上 7 点那班」。第二轮:想「确认这班还有余票,再下单」,做「调用订票接口」,看「下单成功」。看到下单成功,判断完成。具体航班是自编的,重点是每轮的动作都由上一轮的观察决定。

把它们串起来

LLM 只做一件事:读一串字,一个字一个字往下写,写完什么都不留。它的一切「能力」都要靠外面喂进去的字。

RAG 在这串字里多塞了一份查来的资料,模型答得更准,但仍然只是回答。

Agent 再往前走一步。外面那层系统替模型保存记忆、提供工具、把行动结果喂回来,模型在 Think → Act → Observe 的循环里一轮一轮推进,直到任务完成。课件把这层系统叫 Harness,所以 AGENT = MODEL + HARNESS。

从这里开始,问题变成:一个 Agent 能做到什么程度?多个 Agent 怎样一起干活?这是下一页的内容。

课件里的坑

  • [读图提醒] LLM、RAG、Agent 三张手绘流程图要按「逐级加东西」读:RAG 多了检索的资料,Agent 多了记忆、工具、行动和循环(p.3)
  • [措辞] 第一个特征写的是 Agent 可以自主,也可以有人在环里,两者不矛盾;「Agent 一定完全不需要人」是错的(p.4)
  • [读图提醒] 三层工程那一页是纯图片页,三层是同心框,外层包住内层;AGENT = MODEL + HARNESS 是右下角的一行小字,容易漏看(p.5)
  • [背景页] LLM 进化树那页只是背景,树上有哪些模型不是考点(p.2)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上画出 LLM、RAG、Agent 三条流程,每条比上一条多画一样东西;再默写 Agent 六个特征;最后拿一个你用过的 AI 产品,说说它属于这三者里的哪一种。

必背

  1. LLM 是无状态的文本到文本转换器,自回归地预测 token;Agent 是围绕 LLM 的编排层,LLM 当推理引擎
  2. LLM 只回答;RAG 先检索资料再回答;Agent 还带记忆和工具,能行动并根据结果循环
  3. Agent 六特征:自主行动(可带人在环)、记忆、LLM 决策、感知环境、使用工具、协作
  4. ReAct 循环:Think → Act → Observe,模型看上一步结果决定下一步
  5. Prompt → Context → Harness 三层:我该怎么问、模型该看到什么、整个环境该怎么设计;外层包住内层
  6. 无状态指 LLM 每次调用只看这次的输入;Agent 的记忆由外层系统保存、再喂回给模型

课件例题

本讲课件没有例题。这是一场概念型嘉宾讲座,这一页的内容预计考概念辨析:区分 LLM、RAG、Agent,解释「无状态」,列出 Agent 的六个特征,说出三层工程各问什么问题。

完整例题

题面(改编自注解版自测题 1、2):用一句话说出 LLM 和 AI Agent 的区别,并解释为什么说 LLM 是无状态的。再说明 RAG 和 Agent 都会给模型额外信息,二者差在哪里。

解法:

  1. 先给定义:LLM 是文本进、文本出的模型,自回归地逐个预测 token;Agent 是围绕 LLM 搭起来的编排层,LLM 在里面当推理引擎。
  2. 解释无状态:LLM 每次调用只看这次的输入,调用结束什么都不保留。它在对话里能接上前文,是外层系统每轮把历史重新塞进输入。
  3. 比较 RAG 和 Agent 的共同点:两者都在模型之外补东西。RAG 补检索来的资料,Agent 补记忆、工具和流程控制。
  4. 找分界:RAG 的输出仍然只是一段回答;Agent 会调用工具对外采取行动,并根据行动结果继续下一轮。
  5. 一句话收束:分界在「能不能对外行动、并根据结果继续」。

要点:答「无状态」时要把「记忆从哪来」一起答出来,否则只答了一半。

答题格式:先写两个定义各一句,再用一句话写无状态的意思,最后用一句话写 RAG 与 Agent 的分界。

变式题(先自己做)

自编情境:

(1) 一个客服系统先从知识库检索相关条款,再让大模型据此回答用户,不做任何操作。它离 Agent 还差什么? (2) 一个编程助手的工作记录如下:读报错 → 搜索文件 → 发现路径错 → 改路径 → 跑测试 → 测试通过。把每一步标成 Think、Act 或 Observe。 (3) 给模型加一段「请一步一步思考」,和给它接上团队的历史对话记录,分别属于三层工程的哪一层?

提示

(1) 对照三条流程图,看缺了哪几样。(2) 对外调用工具的是 Act,读回结果的是 Observe,决定下一步的是 Think。(3) 一个改的是怎么问,一个改的是模型能看到什么。

判分点与答案(非官方评分标准)

判分点:① (1) 说出缺工具和行动、缺循环;② (2) 标对三类步骤;③ (3) 两个都分对层。

(1) 这是 RAG。它还缺工具调用和对外行动,也没有「看结果再决定下一步」的循环。

(2) 读报错是 Observe(读入环境信息),接着想「先搜文件」是 Think;搜索文件是 Act;发现路径错是 Observe;决定改路径是 Think,改路径是 Act;跑测试是 Act;测试通过是 Observe,之后 Think 判断完成。题目的记录把思考省略了,答出每个动作前都有一次思考即可。

(3) 「请一步一步思考」是思维链提示,属于 Prompt 工程。接上历史对话记录,改的是模型能看到什么,属于 Context 工程。

闪卡自测

1. 课件怎样定义 LLM 和 AI Agent?

LLM 是无状态的文本到文本转换器,给它 prompt,它自回归地逐个预测 token。Agent 是围绕一个或多个 LLM 的编排层,像控制系统,LLM 在里面当推理引擎(p.3)。

2. 「无状态」是什么意思?那 Agent 的记忆从哪来?

LLM 每次调用只看这次的输入,不记得上一次。Agent 的记忆由外层系统保存,需要时再喂回给模型(p.3)。

3. LLM、RAG、Agent 三张流程图逐级多了什么?

RAG 比 LLM 多了从资料库检索来的上下文;Agent 比 RAG 多了记忆、工具、对外行动和循环(p.3)。

4. Agent 的六个特征是什么?

自主行动(可带人在环)、记忆、LLM 负责决策、感知环境、使用工具、协作(p.4)。

5. 三层工程各问什么问题?

Prompt:我该怎么问;Context:模型该看到什么;Harness:整个环境该怎么设计。外层包住内层,AGENT = MODEL + HARNESS(p.5)。

6. ReAct 循环的三步是什么?L2 和 L3 的分界在哪?

Think → Act → Observe,循环到任务完成。L2 的步骤是人画好的,L3 的下一步由模型看了上一步结果后自己决定(p.10、p.11)。

7. 课件把 Agent 用的工具分成哪三类?

内置工具(编辑、执行命令、搜索)、MCP 工具(接入外部服务)、Agent Skills(打包好的做事方法)(p.11)。

下一讲

一个 Agent 能做到哪一步,课件用 L1 到 L5 五个等级来分;到了第四级,多个 Agent 开始像团队一样分工。见 L09a-2。

下一讲 →
L09a-2 L09a-2 Agent 的五个等级与多 Agent 分工:一个人干,还是一队人干

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。