← COMP5511 全部讲次
L01a · 第 1 周

L01a AI 是什么:三个同心圆,和两条争了几十年的路

从零讲清 AI、机器学习、深度学习谁包含谁,手写规则和从数据学习两条路线各卡在哪,以及 AI 史上那条在两条路之间来回摆的钟摆。

一句话版

人工智能(AI)是让机器表现出智能的一整门学问。机器学习是 AI 里「让机器自己从数据学」的那一支,深度学习又是机器学习里「用很多层神经网络学」的那一支。三者是一圈套一圈的关系。

AI 从诞生起就有两条路:一条让人把知识写成规则交给机器,一条让机器从数据里自己总结。这两条路轮流占上风,构成了整部 AI 史。这一页讲清圈套圈的关系、两条路各卡在哪,以及历史上的那次大退潮。

先认识这几个词

词 全称 / 读法 一句人话
AI Artificial Intelligence,人工智能 让机器做出看起来有智能的事的学问
机器学习 Machine Learning,ML 不手写规则,让机器从数据里学出规则
深度学习 Deep Learning,DL 用很多层神经网络做的机器学习
专家系统 Expert System 把专家知识写成一条条规则,照规则推理的程序
知识获取瓶颈 knowledge acquisition bottleneck 规则要人一条条问出来写进去,写不完
AI 寒冬 AI Winter 承诺落空、投资撤离的低谷期
符号主义 / 连接主义 symbolic / connectionist 写规则的一派 / 学参数的一派

一个类比:教新人做菜

餐厅来了个新厨师,有两种带法。

第一种,老师傅把每道菜写成详细菜谱:盐放几克、火开多大、炒几分钟。新人照着做,每一步都能追问「为什么放这么多盐」,答案就在菜谱的某一行。麻烦在于菜谱永远写不完:换一种食材、客人口味一变,就得回去找老师傅再写一页。

第二种,不给菜谱,让新人尝几百盘老师傅做的菜,再自己做、看客人剩多少、慢慢调。练到后来,他做得可能比菜谱还好,可你问他盐为什么放这么多,他只能说「尝着对」。

第一种是专家系统,第二种是机器学习。菜谱可以翻查但写不完,靠尝练出来的手感好用却讲不清道理。

类比在哪里失效:

  • 新厨师本来就懂吃,机器一开始什么都不懂。机器学习里的「尝」要靠大量数据和一个明确的打分标准。
  • 真厨师可以两种方法混着用。AI 史上的两派长期互相看不上,各自拿到投资的年代也错开了,这正是后面要讲的钟摆。

从零讲起

1. AI 的定义和三个同心圆

它解决什么问题

新闻里「AI」「机器学习」「深度学习」「大模型」经常混着说,好像是同一个东西。考试会直接问:三者是什么关系?某个技术属于哪一圈?先把边界划清,后面每一讲才知道自己站在哪个圈里。

从哪来(补充)

「人工智能」这个词出现在一份研究提案里。1955 年 8 月 31 日,John McCarthy、Marvin Minsky、Nathaniel Rochester 和 Claude Shannon 联名提议第二年夏天开一场研讨会。这场会 1956 年夏天在美国 Dartmouth 学院开成,后来被当作 AI 这门学科的起点。

出处:Wikipedia: Dartmouth workshop

直觉

课程用的定义来自 John McCarthy:AI 是 the science and engineering of making intelligent machines,制造智能机器的科学与工程。这个定义很宽,只说目标,不限方法。

所以 AI 是最外面的大圈,什么方法都装得下:手写规则、搜索、逻辑推理、从数据学习都算。机器学习只是其中一种方法,在里面画一个小圈。深度学习是机器学习里的一种,再画一个更小的圈。

三个同心圆,最外层是人工智能,中间是机器学习,最里层是深度学习,每一圈旁边写着这一圈的代表技术

一步一步看

目标:用三个由里往外的问题把四个例子放进圈里,看出内圈的技术同时属于外面两圈。

拿到一个技术,从里往外问三个问题,问到「是」就停:

  1. 它用多层的神经网络吗?是,就落在深度学习这一圈。
  2. 不是的话,它的规则是从数据里学出来的吗?是,就落在机器学习这一圈。
  3. 都不是,但它让机器做出了有智能的事吗?是,就落在 AI 的最外圈。

用这三问把几个例子放进圈里:

技术 第 1 问 第 2 问 落在哪一圈
照规则诊断的专家系统 否 否,规则是人写的 AI(外圈)
下棋程序的搜索 否 否,靠人写的评估函数 AI(外圈)
从历史邮件学出的垃圾邮件过滤 否 是 机器学习
识别图片里有没有猫的多层神经网络 是 — 深度学习

落在最里圈的,同时也属于外面两圈:深度学习一定是机器学习,也一定是 AI。

怎么判断

判断「X 是不是 Y」时,看 X 在不在 Y 的圈里。深度学习在机器学习的圈里,所以「深度学习是机器学习」成立;反过来不成立,机器学习里还有不用神经网络的方法,比如决策树。

题目说「AI 就是机器学习」时,指出 AI 还包括不从数据学的方法,比如专家系统和搜索,就能驳倒。

常见误解

以为 AI、机器学习、深度学习是三个并列的领域

三者是包含关系,AI ⊃ 机器学习 ⊃ 深度学习。说「这个项目用的是深度学习而不是 AI」是自相矛盾的,深度学习本来就是 AI 的一部分。

以为 AI 就是科幻里有意识的机器

课件开场拿科幻电影里的 AI 举例,是为了把期待值打下来。学术上的 AI 只管「让机器做出有智能的事」,这门课学的是搜索、推理、学习这些具体算法,不讨论机器有没有意识。

试一下

一个导航软件用搜索算法在地图上找最短路线,地图和路况都是人录入的,它属于哪一圈?

AI 的外圈。它不用神经网络,路线规则也不是从数据学的,但它让机器做出了「找路」这种有智能的事。这门课第 2 周的搜索算法就在这一圈。

2. 两条路线:手写规则,还是从数据学

它解决什么问题

想让机器有智能,第一个问题是:机器的知识从哪来?要么人把知识写进去,要么机器自己从数据里学。这两种回答决定了系统怎么造、出错了怎么改、卡在哪里。课件把这一对放在前后两页对照,这是全讲最重要的一组对比。

从哪来(补充)

手写规则路线最有名的例子是 MYCIN。它是 1970 年代初斯坦福大学 Edward Shortliffe 的博士论文项目,用来识别引起严重感染的细菌并推荐抗生素。它靠约 600 条人写的规则推理,在测试里表现不差,却从没真正用到临床上。

出处:Wikipedia: Mycin

直觉

专家系统路线:找来领域专家,把他的经验问出来,写成「如果……就……」的规则,交给一个推理程序。程序拿到新情况就翻规则,一条条推出结论。

机器学习路线:不写规则,收集大量带结果的历史数据,交给学习算法。算法自己总结出一个模型,拿到新情况就用模型算出结论。

两条路只在一个地方分岔:知识进入系统的那一步,是人写进去,还是机器学出来。

一步一步看

目标:沿两条流程从起点走到结论,看出两条路差在知识从哪来,以及出错时能不能说清原因。

  1. 两条路的起点不同:一条从专家的经验出发,一条从历史数据出发。

  2. 第二格是分岔点:专家系统由人一条条写成规则,机器学习由学习算法自己总结。

  3. 第三格各自得到一个能用的东西:规则库加推理程序,或者一个学出来的模型。

  4. 终点一样,都给出结论。差别在出错时能不能说清原因:规则能追到某一条,模型往往说不清。

    上下两行流程对照。专家系统:专家的经验、人一条条写成规则、系统照规则推理、给出结论,可解释但卡在知识获取;机器学习:大量历史数据、学习算法自己总结、学出来的模型、给出结论,难解释,瓶颈是数据质量与数量。青绿标出第二格,知识从这里进入系统

把这一对放进一张表:

专家系统 机器学习
知识来源 人手工编码 从数据中自动学习
可解释性 高,能追溯到规则 低,尤其深度模型
更新方式 改规则 喂新数据重训
瓶颈 知识获取 数据质量与数量

怎么判断

判断一个系统走哪条路,只问一句:它的规则是谁定的?人写的,是专家系统这一路,也叫符号主义;从数据学的,是机器学习这一路,也叫连接主义。

答「专家系统有什么问题」时,要落到瓶颈的正式名字:knowledge acquisition bottleneck,知识获取瓶颈。规则要人一条条问、一条条写,写不完,也没法自己适应新情况。

常见误解

以为机器学习样样比专家系统强

机器学习换掉了知识获取瓶颈,也换来了新问题:要大量好数据,学出来的模型难解释。医疗、法律这类需要说清「为什么」的场合,可解释性高是专家系统的真实优势。

以为专家系统已经被淘汰、不用学了

这门课第 8 周专门讲专家系统。规则推理在需要可追溯、可审计的系统里仍在用,而且理解它的瓶颈,才能理解机器学习为什么会崛起。

试一下

银行要做一个信用卡盗刷检测:A 方案请风控专家写「单笔超过平时十倍就拦」这类规则,B 方案拿过去几年标好「盗刷 / 正常」的交易训练模型。各走哪条路?骗子换了新手法,两边各要怎么跟上?

A 是专家系统路线,规则由人写;骗子换手法后要请专家再写新规则。B 是机器学习路线,规则从数据学;要收集新手法的样本,喂进去重训。A 出错时能指出是哪条规则拦的,B 往往说不清。

3. 历史的钟摆和 AI 寒冬

它解决什么问题

AI 不是一路直线进步过来的。某一派热了几十年,承诺兑现不了,钱撤走,另一派再起来。看懂这条钟摆,就知道为什么神经网络早就有、到 2012 年后才爆发,也知道这门课为什么前半讲搜索和逻辑、后半讲神经网络。

从哪来(补充)

「AI 寒冬」这个说法出现在 1984 年美国人工智能协会(AAAI)年会的一场讨论会上。Roger Schank 等人在会上警告:对专家系统的热情过了头,退潮会来。几年后应验,1987 年专门跑 AI 程序的 Lisp 机器市场崩塌,XCON 这类专家系统的维护成本也高到撑不下去。

出处:Wikipedia: AI winter

直觉

想象一个钟摆,一头写着「写规则」,一头写着「学参数」。

1980 年代摆在写规则这一头,专家系统第一次让 AI 赚到钱。规则写不完、换个场景就崩,钱撤走,进入寒冬。1990 年代起,钟摆往学习那头摆:先是统计方法,2012 年以后数据和算力都够了,深度学习爆发。现在正停在学习这一头的高处。

一步一步看

目标:按年份顺着时间线走一遍,看 AI 的重心怎样在规则派和学习派之间来回摆。

下面把课件的时间线按钟摆的方向读一遍:

  1. 1943 年,McCulloch 和 Pitts 提出第一个人工神经元模型,学习那一派的种子很早就埋下了。

  2. 1950 年,Turing 提出图灵测试;1956 年 Dartmouth 会议,AI 学科诞生。

  3. 1965 年 Robinson 提出归结法做自动定理证明,1969–79 年进入知识驱动阶段,钟摆偏向规则。

  4. 1980–88 年专家系统繁荣,AI 第一次商业化,规则派到达顶点。

  5. 1988–93 年 AI 寒冬:专家系统兑现不了承诺,投资撤离。

  6. 1990–2012 年统计方法崛起,课件叫它 AI Spring;2012 年起大数据加神经网络,深度学习爆发;2022 年起是 ChatGPT 和大语言模型。

    AI 简史时间线,从 1943 年人工神经元、1950 年图灵测试、1956 年达特茅斯会议,经过 1980–88 专家系统繁荣和 1988–93 AI 寒冬,到 2012 年深度学习爆发和 2022 年大语言模型

怎么判断

考题给一个历史事件或一个系统,问它属于哪一派,看它的知识从哪来:人写规则、人调评估函数的是符号主义;从数据、从自我对弈学出来的是连接主义。

课件里最好用的一对是两台下棋机器:

Deep Blue(1997) AlphaGo(2016)
核心技术 搜索 + 人工评估函数 深度神经网络 + 蒙特卡洛树搜索 + 强化学习
知识来源 国际象棋大师手工调参 从棋谱学习 + 自我对弈
属于哪一派 符号主义 / 暴力搜索 连接主义 / 学习

问寒冬成因时,按三步写:专家系统在窄领域表现好;但规则手工编写成本极高、无法泛化到新情况、维护困难;投资方按通用智能的期待投钱,拿到的是窄领域工具,落差导致撤资。

常见误解

以为神经网络是 2012 年才发明的

人工神经元早在 1943 年就提出了,神经网络算法 1980 年代就有。2012 年之后爆发,是因为数据和算力终于跟上了。课件用全球数据量指数级增长的统计图回答的就是这个问题。

以为寒冬是因为专家系统完全没用

专家系统在窄领域里表现出色,问题出在落差:投资人期待通用智能,拿到的却是一超出预设范围就崩溃的窄领域工具。写成「专家系统没用」会丢掉「期待与现实的落差」这个关键得分点。

试一下

把这四件事按时间排序,并标出各属于钟摆的哪一头:深度学习爆发、专家系统繁荣、Dartmouth 会议、第一个人工神经元模型。

人工神经元模型(1943,学习一派的种子)→ Dartmouth 会议(1956,学科诞生)→ 专家系统繁荣(1980–88,写规则一头)→ 深度学习爆发(2012 起,学习一头)。

把它们串起来

AI 是最大的圈,只规定目标,不限方法。机器学习和深度学习一层层套在里面,越往里,方法越具体。

圈里的方法可以按「知识从哪来」分成两条路。人写规则的一路可解释,卡在知识获取瓶颈;从数据学的一路不用人写规则,换来了对数据的依赖和难解释的问题。

这两条路轮流占上风。规则派在 1980 年代登顶,因为规则写不完、换场景就崩而跌进 1988–93 的寒冬;学习派从 1990 年代慢慢起来,到 2012 年后靠数据和算力爆发。Deep Blue 和 AlphaGo 是两头各一个代表。

这门课的编排顺着这条钟摆走:前半学搜索、逻辑、专家系统,后半学神经网络和深度学习。下一页从里面那个最小的圈开始讲,深度学习的「深」到底指什么。

课件里的坑

  • [定义的版本] 课件引的 AI 定义来自 McCarthy,只说目标不说方法。答题照这一句写,并带上提出者和 1956 年 Dartmouth 会议,三样缺一样都可能扣分(p.30)
  • [时间线怎么记] 时间线有十行,最常考的是三个锚点:1950 图灵测试、1956 达特茅斯、1988–93 AI 寒冬。排序题按课件的年代分段写,别自己改段(p.50)
  • [应用全景不直接考] p.51–66 那一串应用案例是技术地图,不会直接考;其中 Deep Blue 和 AlphaGo 这一对常被拿来考两条路线(p.60–61)
  • [Deep Blue 的年份] 1996 年首战 Deep Blue 输给 Kasparov,1997 年重赛才赢。写「1996 年击败」是常见失分点(p.60–61)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上画出三个同心圆并写上名字;再默写两条路线的四行对照表;然后过一遍课件例题和完整例题,用自己的话说出专家系统卡在哪;最后做变式题。

必背

  1. AI ⊃ 机器学习 ⊃ 深度学习;AI 定义句 the science and engineering of making intelligent machines 出自 John McCarthy,学科诞生于 1956 年 Dartmouth 会议。
  2. 两条路线:专家系统手工编码规则,可解释但卡在 knowledge acquisition bottleneck;机器学习从数据学规则,性能强但难解释。
  3. 两条路线对照:知识来源(人手工编码 / 从数据学)、更新方式(改规则 / 喂新数据重训)、瓶颈(知识获取 / 数据质量与数量)。
  4. 历史三锚点:1950 图灵测试 / 1956 达特茅斯会议 / 1988–93 AI 寒冬。
  5. AI 寒冬的成因:专家系统规则手工编写成本极高、无法泛化、维护困难,按通用智能期待投的钱只换来窄领域工具,资金撤离。
  6. AI 史是符号主义(写规则)和连接主义(学参数)的钟摆;Deep Blue 属前者,AlphaGo 属后者。

课件例题

这一段课件只有一道课堂讨论题。

例 1(课件 p.32):专家系统大多靠手写规则,问题可能出在哪?

题面:课件介绍早期 AI 的主流路线专家系统,旁边注一句「大多靠手写规则(Mostly with handcrafted rules)」,然后问全班:这条路可能有什么问题?

提示

从两个角度想:规则是怎么来的;遇到规则没写过的情况会怎样。

解答

规则要人一条条从专家那里问出来、写下来,慢、贵、写不完,这叫知识获取瓶颈。系统只认写过的情况,一超出预设范围就无法泛化,维护时只能再派人改规则。完整的答题步骤见下方完整例题。

完整例题

题面(课件 p.32 课堂讨论题):专家系统把人类专家的知识手工编码成规则,系统靠这些规则推理。这条路可能有什么问题?请从「规则从哪来」「遇到新情况怎么办」两个角度回答,并说明它和 AI 史上哪一段低谷有关。

解法:

  1. 规则从哪来:规则要人一条条从专家那里问出来、写下来。写得慢、成本高,也永远写不完。这个死穴叫知识获取瓶颈(knowledge acquisition bottleneck)。
  2. 遇到新情况怎么办:系统只认规则里写过的情况。一超出预设范围,它就无法泛化,直接崩溃;维护时只能再派人去改规则。
  3. 它的优点也要写上:每个结论都能追溯到具体某条规则,可解释性高,出错了也好定位。
  4. 和历史的联系:1980–88 专家系统繁荣,在窄领域(如 MYCIN)表现出色。投资方按「通用智能」的期待投钱,拿到的是脆弱的窄领域工具。落差导致资金撤离,这就是 1988–93 的 AI 寒冬。
  5. 对照另一条路:机器学习不手写规则,从数据里学。它的瓶颈换成了数据的质量与数量,代价是难以解释。

要点:答「问题在哪」时要落到瓶颈的正式名字上,再补一句后果。只写「规则太多」拿不到关键分。

答题格式:先给结论(知识获取瓶颈),再分两点写成因,最后一句接历史或对照机器学习。

变式题(先自己做)

自编情境:课件放了 Deep Blue 和 AlphaGo 两个下棋程序。Deep Blue 用搜索加人工评估函数,评估函数由国际象棋大师手工调参;AlphaGo 用深度神经网络加蒙特卡洛树搜索加强化学习,从棋谱和自我对弈里学。

(a) 两者各走本页哪条路线? (b) 如果要给 Deep Blue 加一种它没见过的新开局知识,要怎么做?AlphaGo 呢? (c) 两者里哪一个用到了深度学习?依据是什么?

提示

(a) 看知识来源:人写的还是从数据学的。(b) 一条路「改规则」,另一条路「喂新数据重训」。(c) 回到「深」的定义:多层非线性的神经网络。

判分点与答案(非官方评分标准)

判分点:① (a) 两条路线各自对上,并点出知识来源;② (b) 写出两种更新方式;③ (c) 用隐藏层或神经网络作依据。

(a) Deep Blue 属符号主义,靠人手工调的评估函数,知识来自大师;AlphaGo 属连接主义,知识来自棋谱学习和自我对弈。

(b) Deep Blue 要人去改评估规则或参数;AlphaGo 靠喂新数据(新棋谱或更多自我对弈)重新训练。

(c) AlphaGo。它用深度神经网络,也就是多层非线性的网络;Deep Blue 只有搜索和人工评估函数,没有神经网络。

闪卡自测

1. 写出 AI 的定义句,说出提出者、学科诞生的会议与年份。

The science and engineering of making intelligent machines,John McCarthy 提出;学科诞生于 1956 年的 Dartmouth 会议(p.30、p.50)。

2. AI、机器学习、深度学习是什么关系?

包含关系:AI ⊃ 机器学习 ⊃ 深度学习。AI 只规定目标,机器学习是其中从数据学的一支,深度学习是机器学习里用多层神经网络的一支。

3. 专家系统和机器学习的知识来源各是什么?专家系统的核心瓶颈叫什么?

专家系统靠人手工编码规则,机器学习从数据中自动学习。专家系统的瓶颈是 knowledge acquisition bottleneck:规则要人一条条写,写不完也没法自动适应新情况(p.32、p.33)。

4. 两条路线各怎么更新?各卡在哪?

专家系统改规则,卡在知识获取;机器学习喂新数据重训,卡在数据的质量与数量(p.33)。

5. 历史三锚点是哪三个?

1950 图灵测试、1956 达特茅斯会议、1988–93 AI 寒冬(p.50)。

6. AI 寒冬的成因是什么?

专家系统能在窄领域表现出色,但规则手工编写成本极高、无法泛化到新情况、维护困难;投资方按通用智能的期待投钱,拿到的是窄领域工具,落差导致资金撤离(p.50)。

7. 神经网络很早就有,为什么深度学习到 2012 年之后才爆发?

算法早就有,缺的是数据和算力。全球数据量指数级增长,才让多层网络有足够的数据可学(p.34–35)。

8. Deep Blue 和 AlphaGo 各走哪条技术路线?

Deep Blue(1997 年重赛战胜 Kasparov)用搜索加人工评估函数,知识来自大师手工调参,属符号主义;AlphaGo 用深度神经网络加蒙特卡洛树搜索加强化学习,知识来自棋谱和自我对弈,属连接主义(p.60–61)。

下一讲

L01b 走进最里面那个圈:一个人工神经元在算什么,「深度」的深指什么,为什么「非线性」三个字不能丢,以及大数据的 4V。

下一讲 →
L01b L01b 深度学习的「深」:很多层,而且每层都要拐个弯

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。