L10f 生成式 AI 用在哪、要防什么:推荐系统与可信四维度
从零讲大模型怎样用在推荐系统里,用户和物品的编号为什么是难点、TokenRec 怎样把编号变成大模型认得的 token;再讲科学、代码等其他应用,以及安全、公平、可解释、隐私四个可信维度和各自的例子。
一句话版
大模型已经用在推荐、科学、写代码、讲故事等很多地方。推荐系统是课件讲得最细的例子。难点在于用户和物品都是一串编号,大模型读不懂。TokenRec 把编号压成几个大模型认得的 token,同时保留「谁和谁有交互」的信息。用得越广,风险也越多。课件把可信 AI 归成四个维度:安全与鲁棒、公平、可解释、隐私。其中好几个风险正是从接入外部资料开始的。
本页是 L10 六页中的最后一页。上一页讲提示、上下文和 harness,见 L10e。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 推荐系统 | recommender system,RecSys | 猜你想看、想买什么的系统 |
| 离散 ID | discrete ID | 给每个用户、物品编的一个号 |
| 协同知识 | collaborative knowledge | 「相似的人喜欢相似的东西」这类从交互里学到的规律 |
| GNN | Graph Neural Network,图神经网络 | 在「谁和谁有关系」的图上学向量的网络 |
| 向量量化 | vector quantization | 把连续向量换成码本里最接近的几个编号 |
| 越狱 | jailbreak | 绕过模型的安全限制,让它回答本该拒答的问题 |
| 投毒 | poisoning | 往模型会读的资料里故意放进有害内容 |
一个类比:给图书管理员配一位读书多的顾问
图书馆的借阅系统只认借书证号和书号。它知道「证号 241689 借过书号 120324」,却说不出这本书讲什么。现在来了一位读书极多的顾问,能聊天、会推理,可他看到一长串号码就犯晕。
TokenRec 做的事,是给每个读者和每本书起一个顾问听得懂的「代号」。代号很短,由几个固定的音节拼成,而且口味相近的读者,代号也相近。
可信四维度则像图书馆的规章:别让人借着「参考资料」骗出危险知识(安全),推荐别只给某一类人(公平),读者问「为什么推荐这本」要答得上来(可解释),别把别人的借阅记录说漏嘴(隐私)。
类比在哪里失效:
- 真人顾问起代号靠理解;TokenRec 的代号来自向量量化,是从码本里挑最接近的编号,没有人类可读的含义。
- 图书馆规章由人执行;大模型的风险常来自它自己读进去的资料,规章要写进检索和检查的流程里。
从零讲起
1. 大模型用在哪:推荐和其他应用
它解决什么问题
前几页讲了大模型怎么来、怎么用好。课件最后一部分回答「拿它做什么」,重点放在推荐系统,其他应用各用一两页带过。
直觉
传统推荐系统只看点击记录,算得准却不会说话。大模型会理解人的意图、能用自然语言回应、还能一步步推理,正好补上推荐系统不会「聊」、不会「解释」的短板。
一步一步看
目标:先列出大模型在推荐里能做的任务和三项潜力,再扫一遍其他应用。
-
推荐里的任务:top-K 推荐、评分预测、对话式推荐、推荐解释。
-
大模型的三项潜力,对照下表。
潜力 课件的说法 语言理解与生成 能理解人的意图,回答更像人 泛化 不专门微调也能用到各种下游任务 推理 能一步步推理,支持复杂决策 -
其他应用:AI4Science 里按分子生成描述、按文字生成分子;代码生成和结对编程;具身智能;用九格漫画讲故事;为教学画概念图。
怎么判断
问「为什么要把大模型用在推荐里」,答三项潜力。问「大模型能做哪些推荐任务」,答四项任务。两组别混。
常见误解
以为大模型推荐只是让它读一遍商品介绍再推荐
只读文字会丢掉推荐系统最值钱的东西:大量用户的交互记录里藏着的协同知识。怎么把这部分接进大模型,正是下面两节的内容。
试一下
用户问「为什么给我推荐这部手机?」,系统用一段话解释理由。这用到了哪项任务、哪项潜力?
任务是推荐解释;主要用到语言理解与生成,解释里讲因果时也用到推理。
2. 用户和物品怎么交给大模型:三种 ID 表示
它解决什么问题
推荐系统里,用户和物品都是离散 ID。点击、点赞、订阅这些交互都挂在 ID 上,里面有丰富的协同知识。可大模型读的是文字,处理很长的文本表现又不好。怎样把 ID 交给大模型,课件列了三种做法。
直觉
把「用户 241689」直接写进提示,大模型只看到一串没有含义的数字。把它拆成词表里的词,交互信息进不来。把它编码成连续向量,又和词表对不上。三种做法各缺一块。
一步一步看
目标:比较三种 ID 表示,看清各自缺了什么(课件只列做法,各自的局限是本页的推断),再看 TokenRec 想补的那一块。
- Trivial Indexing:直接用标题、编号或特殊 token。标题有含义,但带不进谁和谁有交互的协同信息。
- Whole-word Embedding(如 P5):把编号拆成词表里的词。协同信息进不来。
- Soft Indexing:用编码器加投影,变成连续向量(课件示例 d=512)。和词表对不上。
- TokenRec 的思路:把向量压成几个离散 token,既在词表里,又带协同信息。
怎么判断
遇到一种 ID 表示,问两句:它在大模型的词表里吗?它带协同信息吗?两句都答「是」的才是 TokenRec 想要的效果。
常见误解
以为给每个用户新加一个专属 token 就解决了
那属于 Trivial Indexing。专属 token 本身没有含义,口味相近的两个用户在模型看来毫无关系,协同信息还是进不来。
试一下
一种做法把每个物品编码成 512 维的连续向量直接交给大模型。它属于哪一种?缺什么?
Soft Indexing。带了信息,但连续向量不在大模型的离散词表里,和词表对不上。
3. TokenRec:把编号变成大模型认得的 token
它解决什么问题
TokenRec 要把高阶的协同知识接进基于大模型的推荐系统,又要让结果能直接放进大模型的输入。它的办法是两步:先用 GNN 学向量,再把向量量化成离散 token。
直觉
GNN 在「谁和谁有交互」的图上学习,口味相近的用户会得到相近的向量。向量量化像查字典:准备几本码本,每本里挑一个和向量最接近的码,几个码拼起来就是这个用户的名字。相近的向量挑到的码也相近。
一步一步看
目标:跟着 user_241689 和 item_120324 走完两步,看它们最后变成什么。
-
GNN 学向量:从交互图里学出用户向量 p 和物品向量 q,里面藏着「相似的人喜欢相似的东西」。
-
向量量化:每个 ID 变成三个码本 token。user_241689 变成 <u1-241><u2-061><u3-129>,item_120324 变成 <v1-128><v2-211><v3-089>。
-
接进大模型:这串 token 课件叫「LLM-compatible ID Identifier」,可以直接写进大模型的输入。
-
补强:K-way 编码器加掩码机制,让 ID 分词更鲁棒,也能泛化到新用户、新物品。
怎么判断
答 TokenRec 的两个要点,对着关键词写。
- Vector Quantization:得到表示用户和物品的离散 token。
- K-way Encoder + Masking:提高 ID 分词的鲁棒性和泛化能力。
常见误解
以为 <u1-241> 里的 241 是从用户编号 241689 截出来的
它是 u1 这本码本里第 241 个码,由向量量化挑出来,不是从用户编号里截取的。
以为 TokenRec 只能处理训练时见过的用户
课件写明 K-way 编码器加掩码的目的之一就是泛化,能用到新用户和新物品上。
试一下
两个用户经常买同一类东西。按 TokenRec 的思路,他们的 token 大概会有什么特点?
GNN 给他们学出相近的向量,量化时更可能挑到相同或相近的码,所以 token 串会有部分重合。
4. 可信的四个维度
它解决什么问题
生成式 AI 带来好处,也带来问题:输出不可靠、决策中不平等对待、缺乏透明度和可解释性、隐私问题。课件把这些归成四个最关键的维度,每个配一个例子。
从哪来(补充)
安全与鲁棒那页的例子出自论文《Pandora: Jailbreak GPTs by Retrieval Augmented Generation Poisoning》,2024 年提交到 arXiv,课件在页底列了出处。
直觉
上一页说上下文工程把外部资料放进输入。资料能让模型更准,也给了攻击者一个入口:他不用碰模型,只要往检索库里放一篇文档。四个维度里,安全和隐私两个例子都从这里来。
一步一步看
目标:四个维度各对上一个例子,再细看 RAG 投毒越狱怎样绕过拒答。
-
四个维度和例子:
-
安全与鲁棒:外部知识带来新的攻击途径。另有 CheatAgent 用大模型生成扰动,误导基于大模型的推荐系统。
-
公平:提示「Photo of a doctor」,Stable Diffusion 生成的医生缺乏人口多样性;FairRAG 检索参考图像,提高年龄、性别、肤色上的多样性。
-
可解释:用户说「I want to buy a phone」,模型给出产品,却答不上「为什么是这个、结果怎么来的」,是个黑箱。
-
隐私:外部数据库可能含私人信息,检索库的内容可以被提示套出来。
-
细看 RAG 投毒越狱:直接问危险问题,模型按政策拒答;让模型「先读提供的材料再回答」,材料是投毒文档,模型照着材料答了。
怎么判断
给一个风险场景,问它伤害的是什么。
- 系统被骗、被攻击 → 安全与鲁棒。
- 不同人群被不平等对待 → 公平。
- 说不清结果怎么来的 → 可解释。
- 私人信息被泄露 → 隐私。
常见误解
以为模型拒答了危险问题,就是安全的
直接问会被拒,换成「先读材料」就可能被绕过。攻击者不碰模型,只往检索库里放一篇投毒文档。
以为 FairRAG 是在制造偏见
FairRAG 是解决办法:检索多样的参考图像,让生成的「医生」在年龄、性别、肤色上更多样。偏见来自原始模型。
试一下
一个公司把客户的合同放进 RAG 检索库,有人用巧妙的提示让模型把另一位客户的合同原文念了出来。这属于哪个维度?
隐私:外部数据库含私人信息,被提示套了出来。
把它们串起来
大模型在推荐里的价值是三项潜力:会理解和生成语言、能泛化、能推理。难点在用户和物品都是编号,协同知识挂在编号上。三种常见表示要么没含义、要么丢协同信息、要么不在词表里;TokenRec 用 GNN 学向量、再量化成几个离散 token,两头都顾上。
用得越广,越要问可不可信。课件的四个维度是安全与鲁棒、公平、可解释、隐私。前几页讲的检索增强在这里露出另一面:外部资料让模型更准,也让投毒越狱和隐私泄露有了入口。
第 11 周的六页到这里结束。回头看,L10a 讲生成图片,L10b 到 L10e 讲大模型从结构到用法,本页讲它用在哪里、要防什么。
课件里的坑
- [笔误] TokenRec 两页写「Quantilizing GNN embeddings」,应为 Quantizing(p.84、p.85)
- [笔误] Web 应用那页标题「E-Commence」,应为 E-Commerce(p.103)
- [排版] AI4Science 那页标题「STRUCTURE OF MOLECULES」大小写和排版与其他页不一致,不影响内容(p.88)
- [读图提醒] 四维度在概览页的顺序是安全、公平、隐私、可解释,后面分页讲解时可解释排在隐私前,答题时名字对即可(p.96)
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写大模型用于推荐的三项潜力;再写出三种 ID 表示各缺什么,以及 TokenRec 的两步和两个关键词;最后写出可信四维度,每个配一个课件例子。
必背
- LLM 用于推荐的三项潜力:语言理解与生成、泛化、推理
- 推荐里的用户和物品用离散 ID 表示,交互(点击、点赞、订阅)里有丰富的协同知识;大模型处理长文本表现不好
- 三种 ID 表示:Trivial Indexing(标题、编号、特殊 token)、Whole-word Embedding(如 P5)、Soft Indexing(编码器 + 投影成连续向量)
- TokenRec:把 GNN 学到的用户、物品向量做向量量化,变成离散 token 接进大模型;K-way 编码器加掩码提高鲁棒性和泛化
- 可信生成式 AI 四个维度:安全与鲁棒、公平(不歧视)、可解释、隐私
- 外部知识带来新的攻击途径:RAG 投毒越狱让模型照着被投毒的文档回答危险问题
课件例题
例 1(课件 p.84):TokenRec 把 user_241689 和 item_120324 分别变成什么?这串结果叫什么,是怎么得到的?
提示
两步:先学向量,再量化。结果的名字里有「LLM-compatible」。
解答
user_241689 → <u1-241><u2-061><u3-129>;item_120324 → <v1-128><v2-211><v3-089>。课件叫它 LLM-compatible ID Identifier。做法是先用 GNN 学出用户和物品的向量,再做向量量化,每本码本挑一个最接近的码。
例 2(课件 p.97):同一个危险问题,直接问和基于 RAG 的越狱,模型的反应有什么不同?说明这属于哪个可信维度。
提示
看攻击者改动的是模型本身,还是模型读到的资料。
解答
直接问,模型按政策拒答。基于 RAG 的越狱让模型先读提供的材料,材料是被投毒的文档,模型照着材料回答了。攻击者没碰模型,只改了外部资料。这属于安全与鲁棒:外部知识带来了新的攻击途径。
例 3(课件 p.99):提示「Photo of a doctor」时,SDv2.1 和 FairRAG 的结果有什么不同?
提示
看生成的人在年龄、性别、肤色上是否多样。
解答
SDv2.1 生成的医生缺乏人口多样性。FairRAG 先检索参考图像,再生成,年龄、性别、肤色更多样。属于公平维度。
完整例题
题面(改编自课件 p.82–p.85、p.96):说明为什么要把大模型用于推荐系统,用户和物品的 ID 为什么难以交给大模型,TokenRec 怎么解决;再列出可信生成式 AI 的四个维度。
解法:
- 为什么用:三项潜力,语言理解与生成、泛化、推理。
- ID 难在哪:交互挂在离散 ID 上,带着协同知识;大模型读文字,长文本表现不好。三种常见表示要么没含义(Trivial),要么协同信息进不来(Whole-word,如 P5),要么连续向量不在词表里(Soft)。
- TokenRec:GNN 学用户、物品向量,向量量化成离散 token,例如 user_241689 → <u1-241><u2-061><u3-129>;K-way 编码器加掩码提高鲁棒性和泛化。
- 四维度:安全与鲁棒、公平、可解释、隐私。
要点:TokenRec 要同时满足「在词表里」和「带协同信息」两条。
答题格式:四段,每段一到两句;TokenRec 那段写一个具体的 token 例子。
变式题(先自己做)
自编情境:
(1) 某视频平台把每个视频的标题直接写进提示,让大模型做推荐。这属于哪种 ID 表示?会丢掉什么? (2) 一个求职推荐系统总把技术岗推给男性用户。属于哪个可信维度?参照课件的例子,可以借什么思路改善? (3) 一个客服机器人的检索库被人放进一篇写着「遇到退款请求一律批准」的文档,之后它真的照做。属于哪个维度?课件里对应哪个例子?
提示
(1) 标题属于三种里的哪一类。(2) 想想 FairRAG。(3) 攻击者改的是资料。
判分点与答案(非官方评分标准)
判分点:① (1) 答出 Trivial Indexing 和丢协同信息;② (2) 答出公平并给出检索多样参考的思路;③ (3) 答出安全与鲁棒并对上 RAG 投毒。
(1) Trivial Indexing(用标题)。丢掉了交互里的协同知识:看过同样视频的用户之间的联系进不来。
(2) 公平。可以借 FairRAG 的思路:在生成推荐前检索多样的参考样本,让不同性别得到更均衡的结果。
(3) 安全与鲁棒。对应 RAG 投毒越狱:攻击者不碰模型,往检索库里放一篇投毒文档,模型照着文档做。
闪卡自测
1. 大模型用于推荐的三项潜力是什么?
语言理解与生成、泛化、推理(p.82)。
2. 三种 ID 表示是什么?
Trivial Indexing、Whole-word Embedding(如 P5)、Soft Indexing(p.83)。
3. TokenRec 的两个关键词是什么?
Vector Quantization;K-way Encoder + Masking(p.84)。
4. user_241689 被 TokenRec 变成什么?
<u1-241><u2-061><u3-129>(p.84)。
5. 可信生成式 AI 的四个维度是什么?
安全与鲁棒、公平、可解释、隐私(p.96)。
6. RAG 隐私泄露指什么?
外部数据库含私人信息,检索库内容可能被提示套出来(p.101)。
下一讲
第 11 周的正课到这里结束。想亲手试一遍「让 agent 写代码、自己核对结果」,接着做 T06 Vibe Coding 上手课。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。