T06a Vibe Coding 上手课(上):看懂循环、写清提示词、亲手核对数字
Exercise 0–2 走一遍 vibe coding 的前半段:选好工作区,核对两份真实 CSV 的行数和缺口,再用五要素提示词画六面板图,并从原始数据手算一个均值和样本标准差。
一句话版
这节课用五道小练习,把「让 agent 替你写代码」拆成几件可以检查的事,本页讲前三道。工作区决定 agent 能看到哪些文件,提示词决定它这一次做什么。每一件事最后都落到同一个动作:你自己打开文件,亲手算一个数来核对。后两道讲 AGENTS.md 和 skill,见 T06b。
先认识这几个词
读之前最好先看过 Agent 怎样在循环里调用工具,见 L09a。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| vibe coding | 读作 vibe coding,直译「凭感觉编程」 | 用自然语言提需求,让 AI 生成代码并反复改 |
| agent | 智能体 | 能自己决定下一步、调用工具去读写文件和跑命令的模型程序 |
| harness | agent harness,直译「挽具」 | 把模型、工具和上下文接成循环的那层运行环境 |
| 工作区 | workspace | 你给 agent 选定的文件夹,它只能从这里拿项目文件 |
| 提示词 | prompt | 你交给 agent 的任务说明 |
| seed | 随机种子 | 同一个设置换不同种子各跑一次,每个 seed 算一次独立运行 |
| 样本标准差 | sample SD,代码里写 ddof=1 | 几次运行的结果分散得多开,分母用 n − 1 |
| 矢量图 | vector,常见 PDF、SVG | 放大不会糊的图片格式 |
题目地图
| 顺序 | 题目 | 时长 | 考什么 | 主要失分点 |
|---|---|---|---|---|
| 0 | Exercise 0:让 agent 下载课程材料 | 3 分钟 | 选工作区、用自然语言下任务 | 下载完不检查文件是否齐 |
| 1 | Exercise 1:给两份 CSV 写结构报告 | 3 分钟 | agent 循环、自己核对 | 只抄 agent 报的行数,没找出缺的那一条 |
| 2 | Exercise 2:设计、运行、审核六面板图 | 8 分钟 | 五要素、样本 SD、缺失值 | 没手算一个均值和 SD 就说图对了 |
三道题是一条线。前两题熟悉工具,顺便把数据摸清楚。第三题练把要求写清楚、亲手验数。课件开头的路线表最后还列了一段 Intent debugging,正文没有对应的页和练习,见「课件里的坑」。
概念卡
1. 三种编程方式与 vibe coding
人话定义:课件按「主要输入是什么、AI 扮演什么、人做什么」把编程分成三种。传统编程是人自己写代码;AI 辅助是人写代码、AI 补全或建议;vibe coding 是人用自然语言说需求,AI 生成并反复迭代代码,人负责说清要求和检查结果。
例子:三种方式各有一个典型失败。传统方式是实现时写出 bug,或者根本不会写;AI 辅助是没检查就接受了建议;vibe coding 是隐藏的错误一层层累积。课件表格里人的工作从「设计和实现」变成「说清需求和检查结果」,检查这一项始终在人手里。
常见误解
以为 vibe coding 就是完全不看代码 → 这个词最早的说法确实接受很少检查代码,课件也把它列为原始含义。但整节课的练习都要求你打开源码和导出的图、亲手重算一个数。课件的态度是:可以少写代码,但不能少检查。
回讲义:L09a 从大模型到 Agent
2. agent harness 的循环
人话定义:harness 是包在模型外面的运行环境。模型负责决定下一步动作,工具负责读文件、改代码、跑命令,工具的结果和日志写回上下文,模型再根据新的上下文决定下一步。你的目标和工作区文件从外面进入上下文。
例子:Exercise 1 让 agent 报告两份 CSV 的列和行数。模型先决定打开 training_curves.csv,工具把文件读出来,读到的内容写回上下文。要找出缺了哪个组合,它会再调一次工具去数。
常见误解
以为模型自己能看到文件 → 模型只能看到上下文里的东西。文件要靠工具读进来,工作区没选对,它就读不到你想让它看的文件。
回讲义:L09a 从大模型到 Agent
3. 提示词五要素
人话定义:一个能让 agent 做对的请求要说清五件事。Goal 是程序要做什么,Context 是用哪些文件、什么环境。Constraints 是用什么方法、有什么限制。Deliverables 是要交出哪些文件,Acceptance 是你打算怎么验证它做对了。
例子:课件拿同一个作图任务写了两版提示词。Prompt A 只有一句「用两份 CSV 画一张好看的对比图」,几个面板、怎么聚合、单位和缺失值都没说。Prompt B 把五项逐条写出。比如 Constraints 写「跨 seed 取均值 ±1 样本 SD」,Acceptance 写「运行脚本,用原始行重算一个均值和 SD」。
常见误解
以为提示词越长越好 → 五要素管的是覆盖面,每一项一两句就够。Prompt A 的问题出在缺项,跟字数无关。
4. 均值 ±1 样本 SD 与缺失值
人话定义:同一个设置用不同 seed 各跑一次,每次结果会有差别。把这几次的结果取平均画成线,再在线的上下各留出一个标准差的宽度,就是误差带。样本标准差的算法是:先算每个值离平均值多远,平方后加起来,除以 n − 1 再开方。代码里写成 ddof=1。
例子:Toy-A 数据集、Tiny 方法、第 100 个 epoch 有 5 个 seed 的结果。它们平均 79.2836%,样本 SD 是 0.4700 个百分点(pp)。Toy-C / Large 在第 100 个 epoch 少一条记录,只剩 4 个 seed,这一点的 n 就是 4。
常见误解
以为同一次训练的十几个 checkpoint 也能当成多次运行来算 SD → 它们来自同一个 seed,相邻 epoch 彼此不独立。课件要求只跨 seed 聚合。另一个常见错误是缺了数就补一个平滑值。课件规定不平滑、不插补、不编造,n 不足 2 时只画均值、不画误差带。
回讲义:学习曲线怎么读,见 L04c-3 学习曲线
逐题拆解
Exercise 0:让 agent 下载课程材料
三步:打开一个文件夹作为工作区,让 WorkBuddy 把课程仓库下载下来,再检查下载的文件。前两步都在说同一件事:agent 的活动范围就是你选的那个文件夹。第三步不能省,后面几题要用的材料都应该在下载结果里。
方法与验收
材料包里应有五个文件,逐个在文件树里找到。
- training_curves.csv:学习曲线数据,记录每个 epoch 的验证准确率
- benchmark_results.csv:每次运行的测试准确率和推理延迟
- requirements.txt:作图依赖,课前装进 .venv
- AGENTS.example.md:作图练习的项目规则,复制一份改名为 AGENTS.md 放进练习文件夹
- README.md:材料说明,写明数据全是合成的课堂示例
课件开头还要求课前装好作图依赖和 CCFA-Skills。大的下载放在课前做,课上时间留给练习。
Exercise 1:给两份 CSV 写结构报告
任务是让 agent 报告 training_curves.csv 和 benchmark_results.csv 的列、行数、单位和唯一键,同时要求它不改任何文件。然后你自己打开两份文件比对,交一份简短的结构报告,并指出缺了哪一条测量。课件直接给了预期:训练数据 659 行,基准测试 60 行。
一步一步看
目标:跟着检查两份 CSV 的请求走一轮 agent 循环,看模型只做决定、工具真正读文件,最后由你核对。
每帧青绿框是这一步正在工作的那个部分,灰色是还没轮到的部分。
-
你的请求和工作区文件进入上下文。请求里写明「不要改文件」,这是一条 Constraint。
-
模型读上下文,决定先打开 training_curves.csv。它只决定动作,自己不碰文件。
-
harness 调用读取工具,依次把两份文件读出来。默认权限下,超出沙箱的操作会先问你。
-
读到的表头和数据行写回上下文,进入下一轮。要找出缺了哪个组合,模型会再调一次工具去数。
-
循环外面还有一步:你自己打开两份 CSV 数行数、找缺口,和 agent 的回答对照。
方法与验收
数行数时注意表头那一行不算,和 agent 的口径对齐再比。行数对上还不够,要说出少的是哪一个组合。
提示
先算预期应有多少个组合:数据集、方法、seed、epoch 各有几种取值,乘起来再和 659 比。唯一键就是能唯一确定一行的那几列,组合起来不会重复。
解答
| training_curves.csv | benchmark_results.csv | |
|---|---|---|
| 列 | dataset, method, seed, epoch, val_accuracy | dataset, method, seed, test_accuracy, latency_ms |
| 行数(不含表头) | 659 | 60 |
| 单位 | val_accuracy 是 0 到 1 的小数;epoch 取 0, 10, …, 100 | test_accuracy 是 0 到 1 的小数;latency_ms 单位是毫秒 |
| 唯一键 | dataset + method + seed + epoch | dataset + method + seed |
缺的那一条:数据集 3 个(Toy-A、Toy-B、Toy-C),方法 4 种(Tiny、Base、Augment、Large),seed 5 个,epoch 11 个。乘起来应有 660 个组合,文件里只有 659 行。逐个组合对过去,缺的是 Toy-C / Large / seed 4 / epoch 100。基准测试一共 60 个组合,一条不缺。两份文件都没有重复键,也没有空值。
Exercise 2:设计、运行、审核六面板图
这道题做三件事。第一,用五要素和两份真实文件写一个提示词,写明六个面板、统计单位和能看见的成功条件。第二,在一个干净的任务文件夹里运行,打开 Python 源码和导出的图,直接从 CSV 重算一个均值和样本 SD。第三,用同一个模型、同样的文件分别跑 Prompt A 和 Prompt B,比较两份实际产出。
课件给的 Prompt B 分成几块,写自己的版本时可以照着对:
| 块 | 课件要求 |
|---|---|
| 环境与数据 | .venv 里的 Python 3.11,用 pandas 和 matplotlib;先查 schema、重复和缺失;不改输入文件 |
| 上排 | 每个数据集一列,画各方法的验证准确率随 epoch 的变化;跨 seed 取均值 ±1 样本 SD(ddof=1) |
| 下排 | 用 benchmark_results.csv 的平均测试准确率和平均推理延迟(毫秒);不能拿验证集最高分顶替测试结果 |
| 缺失值 | 不平滑、不插补、不编造;写出实际 seed 数;n < 2 时只画均值 |
| 版式 | 2 × 3,共用一个图例,每格有编号;方法的顺序、颜色、标记前后一致;同一排纵轴范围一致 |
| 单位与图注 | 准确率从小数换成百分比;只有延迟用对数轴;图注写样本数、SD 的含义、缺的那一条、数据是合成的 |
| 交付 | 可运行的 Python、figure.pdf 和 figure.svg,存进 constrained_output/;不加测试文件、文件哈希或缓存 |
| 验收 | 运行脚本;用原始行重算一个均值和 SD;检查六个面板、标签、单位和矢量导出;报告缺失 |
一步一步看
目标:从 Prompt A 那一句话出发逐项补齐五要素,看每一项补上的是 A 缺的哪条信息。
每帧青绿行是这一步补上的要素,右列问号是还没补的。
-
补 Goal:要画什么。Prompt A 只说画一张好看的对比图,几个面板、怎么分组都没说。
-
补 Context:在什么环境里跑,动手前先查数据的哪些问题。
-
补 Constraints:怎么聚合、缺值怎么办。这里写死跨 seed 取样本 SD,缺的不补。
-
补 Deliverables:交哪几个文件,存到哪个文件夹。
-
补 Acceptance:怎么判断做对了。写成你能亲手执行的动作,比如手算一个均值和 SD。
方法与验收
课件给了一张参考图。上排三格是三个数据集的学习曲线,纵轴是验证准确率(%),横轴是 epoch 0 到 100。下排三格是测试准确率对推理延迟,延迟用对数刻度。四种方法在六格里的颜色和标记都一样。课件旁注给了能直接对的数:Toy-A / Tiny / epoch 100 的均值 79.2836%、样本 SD 0.4700 pp。图注写明 n 都是 5,只有 Toy-C / Large / epoch 100 是 4。
提示
重算时先在 CSV 里筛出同一个数据集、同一种方法、同一个 epoch 的几行,每行来自一个 seed。准确率存的是小数,先乘 100 再算。算 SD 时分母用 n − 1。比较 A 和 B 时,按课件列的四个角度逐项看,不要只看哪张图好看。
解答
重算以 Toy-A / Tiny / epoch 100 为例。五个 seed 的验证准确率是 79.7233、78.9381、79.6126、78.6400、79.5038(%)。均值 79.2836%,样本 SD 0.4700 pp,和课件一致。如果脚本用了总体标准差(除以 n),会得到 0.4204,对不上,说明 ddof 设错了。完整手算过程见下方「完整例题」。
A 和 B 的对比:课件没有给 Prompt A 的产出,本页不替你编结论,要以你实际跑出来的图为准。课件列的四个角度逐项看:
- 数据忠实:图上的点是不是 CSV 原值,有没有平滑、补值,有没有拿验证集最高分当测试结果。
- 不确定性:有没有误差带,误差带是不是跨 seed 的样本 SD,图注有没有写清它不是置信区间。
- 编码一致:同一种方法在六格里是不是同一个颜色和标记。
- 可复现:有没有留下能重跑的 Python 源码,PDF 和 SVG 是不是都导出了。
Prompt A 一项都没要求,哪一项出问题都有可能;Prompt B 每一项都写了要求和检查方法。数据里有个现成的陷阱:Toy-A / Tiny 的验证均值在 epoch 90 最高,约 79.5826%,比测试均值 79.2464% 高。拿前者顶替测试结果,成绩就说高了。
课件里的坑
- [读图提醒] 课件封面写的是 Tutorial 1,在本学期的 tutorial 材料里排第六份。本站记作 T06,拆成 T06a、T06b 两页,指的是同一份材料。
- [读图提醒] 改版后课件共 45 页,本页覆盖 p.1–29。前 34 页右下角印的页码和实际页序一致,之后的页码乱了,本页引用的页码都按实际页序。
- [课件留白] p.2 路线表最后一段是 Intent debugging(51–60 分钟,验证冻结特征的不变量),正文里没有对应的页和练习,旧版的调试一节也已删掉。课上是否讲这一段,以助教安排为准。
- [读图提醒] p.18 截图把文件区标成 “Workplace Files”,前后几页都叫 Workspace。
- [课件留白] p.25 说这个作图练习不加测试文件、文件哈希或缓存。p.28 注明这条只管本次作图练习,Tutorial 2 明确要求写测试,别把这条规矩带过去。
- [课件留白] 工具介绍页和汇总表说法有出入:Claude Code 在 p.9 写终端和 IDE,p.13 表里多了 desktop;Cursor 在 p.10 写桌面或网页界面,p.13 表里写成带 agent 的编辑器。p.17 的模型列表带用量倍率,课件注明选项和倍率会变;练习时 Full access 保持关闭。
- [补充] vibe coding 这个词出自 Andrej Karpathy 2025 年 2 月 2 日在 X 上的帖子。原帖说的是完全跟着感觉走、忘掉代码的存在,还写了总是点 Accept All、不再看 diff,并说这种做法用在用完即弃的周末小项目上还不错。原帖本身就把适用范围限在一次性小项目上。
- [补充] pandas 的 std 默认 ddof=1,numpy 的 std 默认 ddof=0。同样五个数,换个库就可能从 0.4700 变成 0.4204,写脚本时要显式写出 ddof。
课后 10 分钟:考点复习
这 10 分钟怎么用:前 3 分钟读必背 6 条,重点是第 3 条和第 5 条;中间 4 分钟把完整例题手算一遍;最后 3 分钟做变式题,先自己写再展开对照。
必背
- vibe coding 用自然语言描述任务、由 agent 生成和迭代代码,人负责说清需求和检查结果,主要失败方式是隐藏错误不断累积
- agent harness 是模型、工具、上下文组成的循环:模型决定下一步动作,工具读文件、改代码、跑命令,工具结果写回上下文供下一轮使用
- 提示词五要素:Goal 程序要做什么、Context 用哪些文件和环境、Constraints 用什么方法和限制、Deliverables 交出哪些文件、Acceptance 怎么验证做对了
- agent 的回答要和你自己打开的文件对照:两份 CSV 应是 659 行和 60 行,缺 Toy-C / Large / seed 4 / epoch 100 这一条
- 误差带是跨 seed 的均值 ±1 样本 SD(ddof=1,除以 n − 1),同一 seed 的 checkpoint 不算独立运行;缺失值不插补,写明 n,n < 2 只画均值
- 测试结果用测试集的均值,不能拿验证集上的最高分顶替
完整例题
题面:training_curves.csv 里 Toy-A / Tiny / epoch 100 有 5 行,val_accuracy 依次是 0.797233、0.789381、0.796126、0.786400、0.795038。算出均值和样本 SD,单位用百分比,并和课件的审核值对照。
解法:
- 换单位:每个数乘 100,得 79.7233、78.9381、79.6126、78.6400、79.5038。
- 均值:五个数相加得 396.4178,除以 5 得 79.28356,约 79.2836%。
- 离差:每个值减去均值,得 0.43974、−0.34546、0.32904、−0.64356、0.22024。
- 平方和:0.193371 + 0.119343 + 0.108267 + 0.414169 + 0.048506,约 0.883656。
- 样本方差和 SD:除以 n − 1 = 4 得约 0.220914,开方得约 0.4700 pp。
自查:结果和课件旁注的 79.2836%、0.4700 pp 一致。算出 0.4204 说明除的是 5,用成了总体标准差。离差加起来应接近 0,不接近就是均值算错了。
答题格式:先写 n 和单位,再按均值、离差平方和、除以 n − 1、开方四步各写一行。最后一句写清 SD 是跨 seed 的样本标准差,不是置信区间。
变式题(先自己做)
改编自课件 p.20、p.22–25。
(a) Toy-C / Large / epoch 100 只有 4 行:0.914999、0.896307、0.915007、0.883087。算均值和样本 SD,并说明图上这一点要怎么标注。如果某一点只剩 1 行,又该怎么画?
(b) 下面这个提示词缺了哪个要素?「Use .venv/bin/python with pandas and matplotlib. Read training_curves.csv and benchmark_results.csv and check for missing values. Use mean ±1 sample SD across seeds and do not impute. Save the script, figure.pdf and figure.svg in constrained_output/. Run the script and recalculate one mean and SD.」
(c) 有同学把六面板图下排的「测试准确率」换成了各方法在验证集上的最高分,理由是「这样曲线和散点对得上」。这样做违反了 Prompt B 的哪一条?用 Toy-A / Tiny 说明会差多少。
提示
(a) 步骤和完整例题一样,只是 n 变成 4。再想想 n − 1 等于 0 时公式会怎样。(b) 五个要素一项项对过去,看哪一项找不到对应的句子。(c) 回到 Prompt B 讲下排的那一块,再去解答里找 Toy-A / Tiny 的两个数。
判分点与答案(非官方评分标准)
判分点:① (a) 均值和 SD 算对,并说出标注 n = 4、不补值;② (a) 说出 n < 2 时只画均值;③ (b) 说出缺的要素名;④ (c) 指出违反的规定并给出两个数。
(a) 换成百分比后相加 360.94,除以 4 得均值 90.235%。离差是 1.2649、−0.6043、1.2657、−1.9263,平方和约 7.2778,除以 n − 1 = 3 得约 2.4259,开方得样本 SD 约 1.5575 pp。图注写明这一点 n = 4,缺的那条不补。只剩 1 行时 n − 1 = 0,样本 SD 没有定义,按课件只画均值、不画误差带。
(b) 缺 Goal。Context(环境、两份文件、查缺失)、Constraints(均值 ±1 样本 SD、不插补)、Deliverables(脚本和两种格式的图)、Acceptance(运行并重算)都有,但没说要画几个面板、比较什么。
(c) 违反「Do not replace test results with peak validation scores」。Toy-A / Tiny 的验证均值最高约 79.5826%(epoch 90),测试均值是 79.2464%,换过去会把成绩说高约 0.34 个百分点。验证集用来挑模型,挑完再看测试集,两者不能混。
闪卡自测
1. 传统编程、AI 辅助、vibe coding 三种方式里,人的工作分别是什么?
传统:设计和实现;AI 辅助:实现和审查;vibe coding:说清需求和检查结果(p.5)。
2. 三种方式各自的主要失败方式是什么?
传统:实现出 bug,或不会写代码;AI 辅助:没检查就接受建议;vibe coding:隐藏错误不断累积(p.5)。
3. 画出 agent harness 的循环,说出每个盒子的作用。
Model 决定下一步动作 → Tools 读文件、改代码、跑命令 → Tool results and logs → Context(规则和 skill)→ 回到 Model。你的目标和文件从外面进入 Context。工具结果更新上下文,供下一轮使用(p.6)。
4. Exercise 1 的两份 CSV 应该各有多少行?缺了哪一条?
training_curves.csv 659 行,benchmark_results.csv 60 行。缺 Toy-C / Large / seed 4 / epoch 100(p.20)。
5. 默写提示词五要素,每项一句话。
Goal:程序要做什么;Context:用哪些文件、列和环境;Constraints:用什么方法、有什么限制;Deliverables:agent 要交出哪些文件;Acceptance:你怎么验证它做对了(p.22)。
6. 课件说 Prompt A 留下了哪四处没说清?
面板版式和数据集分组;seed 层面的聚合和不确定性;准确率的单位和延迟的刻度;缺失值和验收检查(p.23)。
7. 为什么同一个 seed 的各个 checkpoint 不能当作独立运行?
它们来自同一次训练,相邻 epoch 的结果彼此相关。独立的是不同 seed,误差带只能跨 seed 算(p.24)。
8. 缺失值和 n < 2 的情况,课件要求怎么处理?
不平滑、不插补、不编造,写出实际观测到的 seed 数;n < 2 时只画均值,不画 SD 带(p.24)。
9. Exercise 2 比较 Prompt A 和 B 的产出时,课件要求看哪四个角度?
数据忠实、不确定性、编码一致、可复现,而且要比较的是同一个模型、同样文件跑出来的实际产出(p.29)。
下一步
本页的三道题都落在同一个动作上:拿一个亲手算出来的数,去和 agent 的产出对。这节课的 79.2836% 和 0.4700 pp 就是这种证据。接着读 T06b,看哪些要求可以存进 AGENTS.md 或 skill 不必每次重写,又有哪些只能写在这一次的提示词里。想把这节课和讲义接上,回头读 L09a 的 Agent 循环和 L04c-3 的学习曲线。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。