L05d 通用近似定理:ReLU 网络是一条可以无限折弯的折线
从一个 ReLU 单元就是一条带折角的线讲起,把课件的四单元网络一项一项拼成折线,再看通用近似定理说「能表示任意函数」到底承诺了什么。
一句话版
一个 ReLU 单元画出来是一条带一个折角的线。把几个这样的单元加起来,就得到一条有好几个折角的折线。
所以 ReLU 网络是分段线性函数:每一段是直线,整体弯来弯去,是非线性的。折角足够多,折线就能贴近任意一条曲线,这就是通用近似定理的直观意思。
定理只说「理论上能表示」。需要的单元可能多到不可行,也未必训练得出来。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 拐点 | kink | 折线改变斜率的那个点 |
| 分段线性函数 | piecewise linear function | 每一段都是直线、段与段之间有折角的函数 |
| 偏置 b | bias | 加在加权和上的常数,决定拐点的位置 |
| 输出权重 | output weight | 隐藏单元连到输出 y 的那根线上的权重 |
| 通用近似定理 | Universal Approximation Theorem,简称 UAT | 一层隐藏层的网络理论上能逼近任意连续函数 |
| 泛化 | generalization | 在没见过的数据上也表现好 |
一个类比:用铁丝弯出一条曲线
手里有一根直铁丝,想弯出一条波浪线。每弯一下就多一个折角,这一下弯多大,决定后面那段的斜率改多少。
弯一两下,只能做出粗糙的形状。弯几十下,每段都很短,远看已经像一条光滑的曲线了。ReLU 网络里,每个单元就是「弯一下」。
类比在哪里失效:
- 铁丝是你看着曲线一下一下弯的;网络的折角位置和大小要靠训练自己找,找不找得到是另一回事。
- 铁丝只有一维。真实网络的输入有很多维,「折线」变成了高维空间里的许多平面拼块,道理相同,但画不出来。
从零讲起
1. 先补一块:一个 ReLU 单元就是一个拐点(补充)
它解决什么问题
上一页的 ReLU 讲的是导数。这一页要用它的形状:把 ReLU 画成图,看清它在哪里转折、转折后斜率是多少。后面所有的拼接都从这里出发。
直觉
ReLU(x) = max(0, x):左边贴着 0,右边是斜率 1 的直线,折角在原点。
给输入加一个偏置,变成 ReLU(x − 2),整条折线就往右平移 2,折角挪到 x = 2。再乘上一个输出权重,就是把折角右边那段的斜率放大、缩小或翻成负的。
一步一步看
目标:依次画 ReLU(x)、ReLU(x − 2) 和乘上 −2 的样子,看一个 ReLU 单元怎样提供一个拐点。
-
画 ReLU(x):x 为负时输出 0,x 为正时输出 x。拐点在 x = 0。
-
画 ReLU(x − 2):x − 2 为负(也就是 x 小于 2)时输出 0,之后斜率 1 上升。拐点挪到 x = 2。
-
乘输出权重 −2:−2·ReLU(x − 2) 在 x = 2 左边还是 0,右边变成斜率 −2 的下降直线。
-
一般地,ReLU(wx + b) 在 wx + b = 0 处转折,拐点 x = −b/w。
怎么算
单元 c·ReLU(wx + b) 的拐点:
wx + b = 0 ⇒ x = −b/w
意思是:ReLU 的输入正好等于 0 的那个 x 就是拐点。偏置 b 决定拐点在哪,w 和输出权重 c 一起决定拐点右边斜率改多少。
课件的网络里 x 的权重都是 1,所以拐点就是 x = −b,偏置 0、−2、−4、−6 对应拐点 0、2、4、6。
常见误解
以为偏置改变的是斜率
偏置只把折线左右平移,改变拐点位置。斜率由 x 的权重和输出权重决定。
试一下
单元 ReLU(2x − 6) 的拐点在哪?拐点右边斜率是多少?
2x − 6 = 0,拐点 x = 3。右边 ReLU(2x − 6) = 2x − 6,斜率 2。
2. ReLU 网络是分段线性函数
它解决什么问题
前几讲说过,网络的能力来自非线性,例如线性模型做不了 XOR。可每个 ReLU 单元单看都是两段直线,那整个网络到底是线性还是非线性?课件用一个四单元的小网络回答:它是分段线性函数,每段线性,整体非线性。
直觉
把四条折线加起来,每条只在自己的拐点处改变总斜率。从左往右走,每经过一个拐点,斜率就加上那个单元的输出权重。
所以只要知道拐点在哪、每个单元的输出权重是多少,就能画出整条折线,不用逐点代入。
一步一步看
目标:把课件网络的四个 ReLU 项一项项加上去,看每加一项多一个拐点,最后拼出两峰一谷的折线。
课件的网络:输入 x 和常数 1 连到四个 ReLU 单元,x 的权重都是 1,偏置依次是 0、−2、−4、−6;四个单元到输出 y 的权重依次是 1、−2、2、−2。
写成式子是 f(x) = ReLU(x) − 2ReLU(x−2) + 2ReLU(x−4) − 2ReLU(x−6)。一项一项加上去:
-
先只有 ReLU(x):拐点 x = 0,斜率从 0 变成 1。
-
加上 −2·ReLU(x − 2):在 x = 2 处斜率加上 −2,从 1 变成 −1,折线开始往下走。
-
加上 2·ReLU(x − 4):在 x = 4 处斜率加上 2,从 −1 变回 1。
-
加上 −2·ReLU(x − 6):在 x = 6 处斜率再加 −2,从 1 变成 −1。整条折线完成:两个峰在 x = 2 和 x = 6,谷在 x = 4。
-
逐点核对:f(0) = 0,f(2) = 2,f(4) = 0,f(6) = 2,f(8) = 0。
怎么算
各段化简:
- x 为负:四个 ReLU 的输入都为负,f(x) = 0
- 0 ≤ x ≤ 2:只有第一项打开,f(x) = x
- 2 ≤ x ≤ 4:f(x) = x − 2(x − 2) = 4 − x
- 4 ≤ x ≤ 6:f(x) = 4 − x + 2(x − 4) = x − 4
- x ≥ 6:f(x) = x − 4 − 2(x − 6) = 8 − x
意思是:每过一个拐点,就多一个单元「打开」,把它那一项加进来。化简后四段斜率是 1、−1、1、−1,正好是 1 → 1−2 = −1 → −1+2 = 1 → 1−2 = −1。
做这类题的顺序:先写出每个单元 ReLU(wx + b),找拐点 x = −b/w,再逐段化简。最后一定检查最左边那段,也就是所有单元都关闭时的值。
常见误解
以为每个 ReLU 单元是线性的,加起来还是线性
每个单元有一个折角,本身就不是一条直线。几个折角加起来,整体是分段线性:每一段内线性,整体非线性。
以为最左边那段沿用第一段的式子
x 为负时所有 ReLU 都关闭,f = 0。直接把 f(x) = x 延伸到负半轴就会算出 f(−1) = −1,这是错的。
试一下
用课件这个网络求 f(5) 和 f(−3)。
f(5) = 5 − 2×3 + 2×1 − 0 = 1;f(−3) = 0,四个 ReLU 的输入都小于 0。也可以直接用 4 ≤ x ≤ 6 那段:5 − 4 = 1。
3. 通用近似定理(UAT)
它解决什么问题
既然 ReLU 网络是折线,它能表示的函数到底有多复杂?通用近似定理回答:一层隐藏层,只要单元足够多,理论上就能表示任意函数。
课件同时给了两条限制:这一层可能大到不可行;也可能学不出来、泛化不好。三条要连起来读。
从哪来(补充)
George Cybenko 1989 年对 sigmoid 激活函数给出证明;Hornik、Stinchcombe、White 1989 年给出更一般的结果。Hornik 1991 年指出起作用的是多层前馈结构本身,不是某个特定的激活函数。定理的严格说法是:在紧集(有界闭区域)上,以任意精度逼近连续函数。
出处:Wikipedia: Universal approximation theorem
直觉
一个单元一个折角。想贴一条起伏的曲线,就在它每次拐弯的地方放一个折角。单元越多,每段折线越短,贴得越近。
但「理论上能贴近」只是说存在这样一组权重。要贴得很近,可能需要多到不现实的单元;训练时也未必找得到那组权重;找到了,在没见过的数据上也未必好。
一步一步看
目标:用一串直线去贴一条任意曲线,看 ReLU 单元越多贴得越近,以及这只说明能表示、不保证能训练出来。
-
课件先画了一个 5 输入、4 个各 7 单元的隐藏层、4 输出的全连接网络,把整个网络写成 y = f(x, W)。
-
然后换成一条任意的曲线,用几段直线去贴它的局部。
-
每段直线的转折点由一个 ReLU 单元提供。单元越多,段数越多,越贴近曲线。
-
课件标注写的是 in theory:这是「能表示」的直观解释,不是「能训练出来」的保证。
怎么判断
遇到「通用近似定理说明了什么」的判断题,按三条一起答:
| 课件要点 | 意思 |
|---|---|
| 单隐藏层能表示任意函数 | 存在一组权重让它逼近目标 |
| 这一层可能大到不可行 | 需要的单元数可能多到无法实现 |
| 可能学不出、泛化差 | 训练找不到那组权重,或换数据就不灵 |
意思是:理论上「能表示」,不等于实际「能训练出来」。所以实践中用更深的网络,而不是一层极宽的网络。
严格表述是「在有界闭区域上以任意精度逼近任意连续函数」。课件简写成 any function,答题时不要再往外推。
常见误解
以为定理说明一层隐藏层就够了,不需要深度网络
错。课件同时指出这一层可能大到不可行,而且可能学不出、泛化不好。
以为「任意函数」包括不连续的函数
严格定理只针对连续函数,而且是在有界闭区域上逼近。课件的 any function 是简写。
试一下
想用 ReLU 折线贴近一条有 9 个拐弯处的曲线,一维输入、单隐藏层,至少大概要几个 ReLU 单元?
每个单元提供一个拐点,所以至少大约 9 个;想贴得更近,每个拐弯处要用更多段,单元数还要往上加。
把它们串起来
一个 ReLU 单元是一条带一个折角的线。偏置决定折角在哪,输出权重决定过了折角斜率改多少。
把几个单元加起来,就是一条有好几个折角的折线。课件的四单元网络有四个拐点,四段斜率是 1、−1、1、−1,最左边所有单元都关闭,函数值为 0。所以 ReLU 网络是分段线性函数,整体非线性。
折角足够多,折线就能贴近任意连续曲线,这是通用近似定理的直观意思。定理只保证存在,不保证网络规模可行、训练找得到、泛化得好。
这一讲从优化、欠拟合、过拟合三类问题讲到网络能表示什么。下一讲换一种网络结构:卷积神经网络。
课件里的坑
- ⚠️ p.26 蓝框写「x + 0 + 0 + 0 (x <= 2)」,蓝线也画进了 x 为负的区域(放大 4 倍核对)。x 为负时四个 ReLU 都输出 0,f(−1) = 0,不是 −1。正确写法是 0 ≤ x ≤ 2 时 y = x,x 为负时 y = 0
- [口径差异] p.25 写 any function,严格定理是有界闭区域上的连续函数,答题时别往外推
- [读图提醒] p.27 的红字是 in theory,要和 p.25 后两条限制一起读
- [读图提醒] p.26 右图各段框里写的是未化简的式子,如 x − 2(x−2),化简后才是 4 − x
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先写出课件网络的式子,标出四个拐点;再按「每过一个拐点斜率加输出权重」写出五段;然后求 f(3)、f(7)、f(−1);最后默写通用近似定理的三条要点。
必背
- ReLU 网络是分段线性函数,每个 ReLU 单元贡献一个拐点。
- 单元 ReLU(wx + b) 的拐点在 x = −b/w;每过一个拐点,斜率加上那个单元的输出权重。
- 课件网络 f(x) = ReLU(x) − 2ReLU(x−2) + 2ReLU(x−4) − 2ReLU(x−6) 四段化简为 x、4 − x、x − 4、8 − x,x 为负时 f = 0。
- DNN 是分段线性函数:每一段内是线性的,整体是非线性的。
- 单隐藏层理论上能表示任意函数,但可能大到不可行,也可能学不出、泛化差。
- 定理的严格说法是在有界闭区域上以任意精度逼近连续函数,课件简写成 any function。
课件例题
例 7(课件 p.26):ReLU 网络是分段线性函数
题面:f(x) = ReLU(x) − 2ReLU(x−2) + 2ReLU(x−4) − 2ReLU(x−6)。分段写出 f,判断它是线性还是非线性,并求几个点的值。
求值部分见下方完整例题。
提示
先找四个单元的拐点,再从左到右,每过一个拐点把那个单元的输出权重加到斜率上。别忘了最左边那段。
解答
- 拐点在 x = 0、2、4、6。每过一个拐点,斜率加上那个单元的输出权重:1 → −1 → 1 → −1。
- 化简:0 ≤ x ≤ 2 时 x;2 到 4 之间 4 − x;4 到 6 之间 x − 4;x ≥ 6 时 8 − x。
- x 为负时四个 ReLU 全关,f = 0。课件把 x ≤ 2 都写成 x,负半轴画错了。
- 结论:分段线性,每段内线性,整体非线性。
完整例题
题面(课件 p.26 的网络):f(x) = ReLU(x) − 2ReLU(x−2) + 2ReLU(x−4) − 2ReLU(x−6)。(a) 求 f(3)、f(7)、f(−1)。(b) 写出 x ≥ 6 那一段的表达式,并用 f(7) 验算。
解法:
- (a) f(3):ReLU(3) = 3,ReLU(1) = 1,ReLU(−1) = 0,ReLU(−3) = 0。f(3) = 3 − 2×1 + 0 − 0 = 1。
- f(7):ReLU(7) = 7,ReLU(5) = 5,ReLU(3) = 3,ReLU(1) = 1。f(7) = 7 − 2×5 + 2×3 − 2×1 = 1。
- f(−1):四个 ReLU 的输入 −1、−3、−5、−7 都小于 0,全部输出 0,f(−1) = 0。
- (b) x ≥ 6 时四个单元全开:f(x) = x − 2(x − 2) + 2(x − 4) − 2(x − 6) = x − 2x + 4 + 2x − 8 − 2x + 12 = 8 − x。
- 验算:f(7) = 8 − 7 = 1,和第 2 步一致。
要点:逐项代入时,先判断每个 ReLU 的输入正负;为负的直接写 0。
答案:(a) f(3) = 1,f(7) = 1,f(−1) = 0;(b) 8 − x。
答题格式:把四个 ReLU 的值逐个写出来再相加;分段式写成「区间:表达式」,最左边那段单独写一行。
变式题(先自己做)
(1) 改编自课件 p.26:一个 ReLU 网络 f(x) = 2ReLU(x) − 3ReLU(x−1) + 2ReLU(x−3),写出各段表达式,求 f(−1)、f(2)、f(5)。 (2) 改编自课件 p.26:把课件网络第二个单元的偏置从 −2 改成 −3,其余不变。新的拐点在哪?0 到第二个拐点之间的最大值是多少?
提示
(1) 拐点在 0、1、3;每过一个拐点,斜率加上那个单元的输出权重。(2) 拐点 x = −b;峰出现在斜率由正变负的那个拐点。
判分点与答案(非官方评分标准)
判分点:① 拐点找对;② 每段斜率按累加算对;③ 最左边一段写成 0。
(1) x 为负时 0;0 ≤ x ≤ 1 时 2x;1 ≤ x ≤ 3 时 3 − x;x ≥ 3 时 x − 3。斜率 0 → 2 → −1 → 1。f(−1) = 0,f(2) = 1,f(5) = 2。
(2) 拐点变成 x = 0、3、4、6。0 ≤ x ≤ 3 时 f = x,在 x = 3 处达到最大值 3。
闪卡自测
1. DNN 是线性还是非线性?
ReLU 网络是分段线性函数:每段线性,整体非线性(p.26)。
2. ReLU(wx + b) 的拐点在哪?
x = −b/w,也就是 ReLU 的输入等于 0 的地方(p.26)。
3. 用课件网络求 f(5) 和 f(−3)。
f(5) = 5 − 2×3 + 2×1 − 0 = 1;f(−3) = 0(p.26)。
4. 判断:通用近似定理说明只要一层隐藏层就够了,不需要深度网络。
错。这一层可能大到不可行,而且可能学不出、泛化不好(p.25)。
5. 课件 p.26 的图在负半轴错在哪?
蓝线画进了负半区,蓝框写 x ≤ 2 时为 x。实际上 x 为负时四个 ReLU 都关闭,f = 0(p.26)。
6. 为什么单元越多,折线越能贴近曲线?
每个 ReLU 单元贡献一个拐点,单元越多折线段越多、每段越短(p.27)。
下一讲
L06 讲卷积神经网络(CNN),本讲的 mini-batch、ReLU、dropout、data augmentation 会直接用在 CNN 的训练里。见 L06a。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。