← COMP5511 全部讲次
L10e · 第 11 周

L10e 提示、上下文与 Harness:大模型出了问题先查哪一层

从零讲提示工程的四要素、上下文工程的四步、harness 工程的 RUN、CONTROL、CHECK 和工具调用循环,再用同一个「比较两款 AI 学习工具」的任务说明三层各管什么、出了问题先查哪层。

一句话版

用大模型做一件真事,要管三层。提示管「要它做什么」:任务、标准、约束、格式写清楚。上下文管「给它看什么」:把需要的资料收集、挑选、整理好,过时了就换。Harness 管「怎么跑、怎么查」:替模型执行工具、限制权限和花费、拿结论对照来源检查。出了问题,先判断是哪一层的毛病再动手。

本页是 L10 六页中的第五页。上一页讲思维链和检索增强,见 L10d。三层的同心圆图和 Agent 的思考、行动、观察循环在 L09a 讲过,本页按本讲课件补上每一层的具体做法。

先认识这几个词

词 全称 / 读法 一句人话
提示工程 prompt engineering 设计指令和示例,告诉模型做什么
上下文 context 模型这一次调用收到的全部输入
上下文工程 context engineering 每次调用前挑选、整理模型的输入
Harness 读「哈内斯」,原意马具 模型外面那层运行工具、管理上下文、跟踪进度的软件
工具调用 tool call 模型请求执行一个外部操作,比如搜网页
输入长度上限 input limit 一次能塞给模型的内容有上限

一个类比:给新助理派活

你请一位能干的新助理写一份「两款学习工具对比」报告。

提示是你写的任务单:比较什么、看哪几项、只能用什么资料、交什么格式。上下文是你递给他的那一叠资料:价格页、隐私政策、之前的往来记录,挑过、贴好标签、标了日期。Harness 是公司的流程和制度:他上网查资料要走公司账号,花钱有上限,报告发出去前要先给你过目。

助理交来的报告有问题,你会先想:是任务单没写清,是资料给少了,还是流程卡住了?三种毛病的改法完全不同。

类比在哪里失效:

  • 真人助理会记得上次的资料;模型每次调用只看到这一次的输入,资料要由上下文工程每次重新放进去。
  • 公司制度管的是人;harness 是一段软件,真正替模型去执行工具调用的是它,模型自己只能「提出请求」。

从零讲起

1. 提示工程:把任务写成四块

它解决什么问题

同一个模型,提示写得含糊,输出就跑偏:比较维度不对、自己编资料、格式乱。提示工程是设计指令和示例来引导模型回答,课件把一条好提示拆成四块。

直觉

一张好的任务单回答四个问题:做什么、按什么标准、有什么限制、交成什么样。漏掉一块,模型就会自己猜那一块。

一步一步看

目标:用「比较两款给大学生用的 AI 学习工具」这件事,把一条提示拆成四块。

  1. TASK 任务:比较 Tool A 和 Tool B 两款学习工具。
  2. CRITERIA 标准:关注成本和隐私。
  3. CONSTRAINTS 约束:只用给定的资料,引用证据,缺证据的地方要标出来。
  4. FORMAT 格式:一张对比表加一段短结论。

提示四要素:二乘二四个方框,TASK 任务比较两款学习工具并青绿描边、CRITERIA 标准关注成本和隐私、CONSTRAINTS 约束只用给定资料并标出缺的证据、FORMAT 格式一张表加短结论;下方说明要求引用不会让证据凭空出现

合起来就是课件的那句提示:「Compare Tool A and Tool B on cost and privacy. Use supplied sources, cite evidence and flag gaps. Return a table and a short conclusion.」

怎么判断

拿到一条提示,逐项问四句:任务说了吗?标准说了吗?约束说了吗?格式说了吗?缺哪项就补哪项。

还要多问一句:提示里要求「引用证据」,证据本身给了没有?要求引用并不会凭空提供证据,相关资料必须另外放进输入。

常见误解

以为在提示里写「请引用来源」,模型就会给出可靠来源

模型手里没有资料,就只能编。课件特意写明:要求引用不会凭空提供证据,资料要另外放进去。这一步属于上下文工程。

以为提示越长越好

四要素讲的是写全,没有说写长。每一块写清一句就够,堆太多反而挤占输入长度。

试一下

提示「帮我比较一下这两个工具」缺了四要素里的哪几块?

只有 TASK。缺 CRITERIA(比哪几项)、CONSTRAINTS(用什么资料、要不要标缺口)、FORMAT(交表格还是段落)。

2. 上下文工程:每次调用前把输入备好

它解决什么问题

模型每次调用只看到这一次的输入,而输入有长度上限。资料太少,它没证据;资料太多,塞不进去,或者把有用的淹没。上下文工程在每次调用时挑选、整理模型收到的输入。

直觉

开会前给老板备材料:先把相关的都找来,再挑出真正要看的几页,贴好标签注明出处和日期,会后有新情况再替换。模型的输入也要这样备。

一步一步看

目标:沿收集、挑选、整理、更新四步,为那份工具对比报告备好输入。

  1. COLLECT 收集:指令、资料、对话历史、工具信息,可能有用的都找来。
  2. SELECT 挑选:在输入长度上限内,只留相关的证据。
  3. ORGANIZE 整理:给每份资料标来源,保留日期和关键细节。
  4. UPDATE 更新:加入新的工具结果,删掉过时的信息。

上下文工程四步:四个方框从左到右,收集、挑选(青绿描边,输入有长度上限)、整理(标来源留日期)、更新;下方说明 RAG 只管检索加生成,上下文工程管全部输入

对比报告这一次的输入就是:任务指令 + 价格页 + 隐私政策 + 相关的工具结果。

怎么判断

区分 RAG 和上下文工程,记课件的一句话:RAG 结合检索和生成;上下文工程管理全部输入。检索到的资料只是输入的一部分,指令、历史、工具信息也归上下文工程管。

常见误解

以为上下文工程就是 RAG 换了个名字

RAG 只负责「查资料再生成」这一段。上下文工程还要挑选、整理、更新,并且管指令、对话历史和工具信息。

以为把所有资料都塞进去最保险

输入有长度上限,塞不下;就算塞得下,无关内容也会干扰模型。挑选这一步就是为此存在。

试一下

一份隐私政策去年改过版,输入里新旧两版都在。该在哪一步处理?怎么处理?

UPDATE 更新:删掉过时的旧版。ORGANIZE 整理时保留日期,这样才能看出哪一版是新的。

3. Harness 工程:替模型跑工具、管住它、查它

它解决什么问题

模型只会生成文字。要它查网页、读文件、反复修改,就得有一段软件替它执行这些动作,并且防止它乱来:越权、无限重试、花太多钱、拿没核实的结论直接交差。这段软件就是 harness,负责运行工具、管理上下文、跟踪任务进度。

直觉

模型像一位只能动嘴的顾问,每次只能说「请帮我查一下 X」。Harness 是他身边的执行助理:先看这事允不允许做、预算够不够,再去做,把结果放回顾问桌上,然后决定让他继续、停下,还是去问老板。

一步一步看

目标:跟着一次工具调用走完一圈,看 harness 在每一步做什么。

  1. 模型提出请求:模型生成一个工具调用,比如「检索 Tool A 的价格页」。

    工具调用循环第一步:三个方框模型、Harness、上下文,模型青绿描边,箭头指向 Harness,表示模型发出工具请求

  2. Harness 检查并执行:CONTROL 先查权限,看时间、成本、重试次数有没有超;没问题再由 RUN 执行工具。

    工具调用循环第二步:Harness 青绿描边,下方注明检查权限与时间成本重试次数,然后执行工具并把结果送往上下文

  3. 更新上下文:工具结果写回上下文,RUN 同时保存进度。

  4. 决定下一步:再来一轮、停下交结果,或者停下问人。

  5. 交付前 CHECK:拿结论对照来源核对,标出没解决的问题;分享报告前先问人。

    工具调用循环第三步:上下文青绿描边,一条青绿虚线弯回模型表示下一轮;下方列出继续、停止、问人三个出口

怎么判断

把 harness 的动作归到三类里。

  • RUN:调用模型、执行工具、保存进度。
  • CONTROL:检查权限,限制时间、成本和重试次数。
  • CHECK:拿结论对照来源核对,标出未解决的问题。

记住课件的提醒:检查能降低风险,但不保证结果正确。

常见误解

以为是模型自己去执行工具

模型只生成工具请求。检查和执行都由 harness 完成,结果再由 harness 写回上下文。

以为 harness 做了 CHECK,结果就一定对

课件明说检查只能降低风险。所以对比报告的流程最后还有一步:分享之前先问人。

试一下

模型连续 20 次请求同一个失败的网页,任务一直不结束。这该由 RUN、CONTROL、CHECK 中的哪一项来管?

CONTROL:限制重试次数,超过就停下或问人。

4. 三层排查:出了问题先问是哪一层

它解决什么问题

三层都会出毛病,症状又容易混。课件用同一个对比任务,给每层配了一个问题和一条改法,出了错先定位再动手。

直觉

修车先分清是油、电还是轮胎的问题。三层各问一句话:模型该做什么?模型收到什么输入?任务怎么跑、怎么查?哪句答不上来,毛病就在哪层。

一步一步看

目标:把三层各自的问题、负责的事和常见改法排成一张表。

  1. PROMPT:问「模型该做什么」,负责设计指令和示例;任务不清时改提示。
  2. CONTEXT:问「模型收到什么输入」,负责挑选和整理输入;缺证据时补上下文。
  3. HARNESS:问「任务怎么运行和检查」,负责工具执行和任务进度;动作失败或打转时查 harness。

三层排查表:三列,PROMPT 问模型该做什么,任务说不清就改提示;CONTEXT 问模型收到什么输入,缺证据就补上下文;HARNESS 青绿描边,问任务怎么跑怎么查,动作失败或打转就查 harness

层 对比任务里的样子
PROMPT 「用表格比较成本和隐私,引用来源并标出缺口」
CONTEXT 指令 + 价格页 + 隐私政策 + 工具结果
HARNESS 检索资料、核对结论、分享前先问人

怎么判断

三层的关系课件只用一句话交代:提示指令是上下文的一部分;harness 管理上下文和执行。所以三层是一层包一层,排查时按症状对号。

  • 输出做错了事、格式不对 → 提示。
  • 结论没有依据、标了很多缺口 → 上下文。
  • 工具报错、反复调用停不下来 → harness。

常见误解

以为模型答错了,第一反应就是改提示

提示只管「做什么」。缺证据时改提示没用,要补上下文;工具调用打转时也没用,要查 harness。

以为三层是彼此独立的三样东西

提示是上下文的一部分,上下文又由 harness 管理,三层是包含关系。

试一下

报告的表格里,Tool B 的隐私一栏写着「缺少证据」。最可能该改哪一层?

上下文。CONSTRAINTS 让模型标出缺证据的地方,它照做了;说明 Tool B 的隐私政策没放进输入,要在收集或挑选那一步补上。

把它们串起来

同一件「比较两款学习工具」的活,三层各管一段。

提示把任务写成四块:任务、标准、约束、格式。它能要求引用证据,却变不出证据。

证据靠上下文工程:每次调用前收集、挑选、整理、更新,让模型在长度上限内看到对的资料。RAG 只是其中检索那一段。

模型要查资料、反复修改,就要 harness 替它执行工具调用:RUN 跑起来,CONTROL 管住权限和花费,CHECK 对照来源核结论。检查只能降低风险,交付前还是要问人。

三层一层包一层,出了问题按症状对号:任务不清改提示,缺证据补上下文,动作失败或打转查 harness。

课件里的坑

  • [读图提醒] 提示那页的例句要求「cite evidence」,页底紧接一句「Asking for citations does not supply evidence」,两句要连起来读(p.75)
  • [对照] 上下文那页底部那句「RAG combines retrieval and generation. Context engineering manages the full input.」是区分两者的标准答法(p.76)
  • [读图提醒] harness 那页的循环图最后一格是「Repeat, stop or ask」,三个出口都要答出来(p.77)
  • [重复] 本讲的三层与第 9 周的同心圆图讲的是同一组概念,本讲多了每层的具体动作和排查表

课后 10 分钟:考点复习

这 10 分钟怎么用:先用「比较两款工具」写一条四要素齐全的提示;再默写上下文四步和 harness 的 RUN、CONTROL、CHECK;最后给自己出三个症状,各说该查哪一层。

必背

  1. 提示工程四要素:TASK 任务、CRITERIA 标准、CONSTRAINTS 约束、FORMAT 格式
  2. 要求引用证据不会凭空提供证据,相关资料必须另外放进输入
  3. 上下文工程四步:COLLECT 收集、SELECT 挑选(输入有长度上限)、ORGANIZE 整理(标来源、留日期)、UPDATE 更新
  4. RAG 只结合检索和生成;上下文工程管理模型收到的全部输入
  5. Harness 是模型外面的软件:RUN 调模型、执行工具、保存进度;CONTROL 查权限、限时间成本和重试;CHECK 对照来源核结论、标出未解决的问题
  6. 工具调用循环:模型发工具请求 → harness 检查并执行 → 更新上下文 → 重复、停止或询问;检查降低风险但不保证正确
  7. 三层排查:任务不清改提示;缺证据补上下文;动作失败或打转查 harness;提示是上下文的一部分,harness 管上下文和执行

课件例题

例 1(课件 p.75):课件给出提示「Compare Tool A and Tool B on cost and privacy. Use supplied sources, cite evidence and flag gaps. Return a table and a short conclusion.」把它拆进四要素。

提示

四要素依次是 TASK、CRITERIA、CONSTRAINTS、FORMAT,每块找一个短语对上。

解答

TASK:Compare Tool A and Tool B。CRITERIA:on cost and privacy。CONSTRAINTS:Use supplied sources, cite evidence and flag gaps。FORMAT:Return a table and a short conclusion。课件同时提醒,要求引用不会凭空提供证据,资料要另外放进输入。

例 2(改编自课件 p.78):同一个对比任务出了三种问题:①模型交了一段散文而没有表格;②表格里多项写着缺证据;③模型反复检索同一页面停不下来。各查哪一层?

提示

对照三层各自的问题:做什么、收到什么、怎么跑和查。

解答

①格式不对,属于「模型该做什么」没说清,改提示(FORMAT)。②缺证据,补上下文。③动作打转,查 harness,由 CONTROL 限制重试次数。

完整例题

题面(改编自课件 p.75–p.78):用「比较两款给大学生用的 AI 学习工具」这个任务,分别说明提示工程、上下文工程、harness 工程各做什么,并说明三层的关系。

解法:

  1. 提示工程:设计指令和示例。四要素:TASK 比较两款工具;CRITERIA 成本和隐私;CONSTRAINTS 只用给定资料、标出缺证据处;FORMAT 对比表加短结论。
  2. 上下文工程:每次调用前挑选、整理输入。收集指令、资料、历史和工具信息;在长度上限内挑选相关证据;标来源、留日期;加入新结果、删掉过时信息。本任务的输入是指令 + 价格页 + 隐私政策 + 工具结果。
  3. Harness 工程:模型外面的软件。RUN 调模型、执行工具、保存进度;CONTROL 查权限、限时间成本重试;CHECK 对照来源核结论、标出未解决问题。本任务里它检索产品页、起草表格、核对结论,分享前先问人。
  4. 关系:提示指令是上下文的一部分;harness 管理上下文和执行。

要点:每层都写「做什么 + 本任务里的样子」,最后一句写关系。

答题格式:三段,每段先一句定义,再一句举例;结尾一行写三层关系。

变式题(先自己做)

自编情境:

(1) 想让模型「从三篇论文里总结各自的数据集规模,做成表格」。按四要素写出提示。 (2) 模型交的表格里,第三篇论文的数据集规模写成了另一篇的数字。最可能出在哪一层?给出一条改法。 (3) 一个 agent 把未核对的总结直接发到了课程群里。按 harness 的三类动作,缺了哪一类?流程上该补什么?

提示

(1) 四块各写一句。(2) 想想资料有没有标来源。(3) 看 CHECK 和交付前那一步。

判分点与答案(非官方评分标准)

判分点:① (1) 四要素齐全;② (2) 定位到上下文并给出整理类改法;③ (3) 指出缺 CHECK 并补「分享前问人」。

(1) TASK:总结三篇论文各自的数据集规模。CRITERIA:只看数据集规模。CONSTRAINTS:只用给定的三篇论文,引用出处,找不到的标出来。FORMAT:一张三行的表。

(2) 上下文。资料没有标清来源,模型把两篇的数字混了。改法:ORGANIZE 时给每段资料标明出自哪篇论文。

(3) 缺 CHECK:没有对照来源核结论。流程上还要补「分享前先问人」;CONTROL 也可以把「对外发送」设成需要权限的动作。

闪卡自测

1. 提示工程的四要素是什么?

TASK、CRITERIA、CONSTRAINTS、FORMAT(p.75)。

2. 提示里要求引用证据,就够了吗?

不够。要求引用不会凭空提供证据,资料要另外放进输入(p.75)。

3. 上下文工程的四步是什么?

COLLECT、SELECT、ORGANIZE、UPDATE(p.76)。

4. RAG 和上下文工程的区别?

RAG 结合检索和生成;上下文工程管理全部输入(p.76)。

5. Harness 的三类动作是什么?

RUN:调模型、执行工具、保存进度;CONTROL:查权限,限时间、成本、重试;CHECK:对照来源核结论,标出未解决的问题(p.77)。

6. 三层排查各对应什么症状?

任务不清 → 提示;缺证据 → 上下文;动作失败或打转 → harness(p.78)。

下一讲

前面五页讲大模型怎么来、怎么用。最后一页看它用在哪里,以及用起来要防什么:推荐系统、科学和代码,还有安全、公平、可解释、隐私四个可信维度,见 L10f。

下一讲 →
L10f L10f 生成式 AI 用在哪、要防什么:推荐系统与可信四维度

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。