← COMP5541 全部讲次
L04a · 第 6 周

L04a 隐藏层:一条直线分不开 XOR,就先造新特征

从一个神经元讲起,看线性回归和逻辑回归为什么都学不会 XOR,再一帧一帧看隐藏层怎么先造出 OR、AND 两个新特征,让一条直线重新够用。

一句话版

一个神经元只能画一条直线。XOR 的四个点用一条直线分不开,所以线性回归和逻辑回归都学不会它。办法是在输入和输出之间加一层带非线性激活的神经元(隐藏层),先把原来的点搬到一个新平面上,在新平面里一条直线就够用了。

这一页从零讲隐藏层为什么必要。下一页 L04b 讲网络怎么加宽加深、激活函数和输出层怎么选。读之前最好先懂逻辑回归和交叉熵。

先认识这几个词

词 全称 / 读法 一句人话
神经元 neuron 一个小计算单元:先加权求和,再过一个激活函数
激活函数 activation function 加权和后面接的弯曲函数,例如 sigmoid
σ 读「西格玛」,sigmoid 把任意实数压进 0 到 1 之间的 S 形函数
XOR exclusive OR,异或 两个输入恰好一个是 1 时输出 1,否则输出 0
线性可分 linearly separable 能用一条直线(高维是一个平面)把两类点分开
隐藏层 hidden layer 夹在输入和输出之间的层,负责造新特征
特征 feature 喂给模型的那几个数;隐藏层的输出也是特征

一个类比:切一刀分不开,就先把桌布折一下

桌布上画了四个点。左上和右下是红点,左下和右上是蓝点。规定只能拿刀沿直线切一刀,把红蓝分开。

你横着切、竖着切、斜着切,总有一个点站错边。红点在对角,蓝点也在对角,一刀切不出这种格局。

换个思路:先把桌布沿对角线折一下,让两个红点叠到同一处。折完以后再看,红点挤在一起,两个蓝点在两头,一刀就能切开。

隐藏层干的就是「折桌布」。它把原来的点挪到新位置,挪完以后,输出层那一刀才切得开。

类比在哪里失效:

  1. 折桌布是你亲手决定怎么折。隐藏层怎么「折」是训练出来的,由权重决定,换一组权重折法就变了。
  2. 桌布只能整块折。隐藏层的每个神经元各自做一次弯曲,几个神经元合起来才得到最后的形状。

从零讲起

1. 先补一块:神经元(补充)

它解决什么问题

前两讲的线性回归和逻辑回归,都可以画成同一种小单元:几个输入进来,各乘一个权重,加起来,再决定要不要过一个函数。这个小单元就叫神经元。把它看成积木,后面才能谈「多摆几块」「叠几层」。

从哪来(补充)

1943 年,Warren McCulloch 和 Walter Pitts 发表论文,最早提出人工神经元的数学模型。1957 年,Frank Rosenblatt 在 Cornell 航空实验室提出感知机,1959 年造出了硬件 Mark I Perceptron。课件开头的历史表也从这里讲起。

出处:Wikipedia: Artificial neuron、Wikipedia: Perceptron

直觉

神经元像一个打分员。每个输入是一项指标,权重是这项指标的分量,偏置是基础分。打分员先算总分,再用激活函数把总分换成最后的判断。

激活函数决定了这块积木是什么。不接激活,输出就是总分本身,这是线性回归。接上 sigmoid,总分被压进 0 到 1,可以当概率读,这是逻辑回归。

一步一步看

目标:顺着输入、加权求和、激活走一遍神经元,看换掉激活函数后同一结构就成了另一种模型。

  1. 两个输入 x₁、x₂ 进来,另外还有一个永远等于 1 的输入,它的权重就是偏置 b。

  2. 每个输入乘自己的权重,在 Σ 处加起来,得到加权和 s。

  3. s 进激活函数 σ,出来的就是这个神经元的输出 y。

    一个神经元的结构:左边三个输入 x₁、x₂ 和常数 1,分别带权重 w₁、w₂、b 连到中间的 Σ,Σ 下方写着 s = w₁x₁ + w₂x₂ + b;Σ 再连到青绿描边的 σ 方框,标注激活函数、把 s 压进 (0,1);最右边输出 y = σ(s)

  4. 换一个激活函数,或者干脆不要激活,同一个结构就变成另一种模型。

怎么算

一个两输入神经元的完整写法:

  • 加权和:s = w₁x₁ + w₂x₂ + b
  • 输出:y = σ(s) = 1 / (1 + e⁻ˢ)

意思是:先算一个总分 s,再把 s 放进 S 形曲线,读出一个 0 到 1 之间的数。s 越大,y 越接近 1;s 越小,y 越接近 0;s = 0 时 y 正好是 0.5。

判定的时候,y > 0.5 判成 1,y < 0.5 判成 0。y = 0.5 的那条分界,对应的是 s = 0,也就是 w₁x₁ + w₂x₂ + b = 0。这是一条直线。后面的麻烦全从这里来。

常见误解

以为加了 sigmoid,判定边界就弯了

sigmoid 是单调的,它只把 s 换了个刻度,s 的正负没变。y > 0.5 和 s > 0 是同一件事,所以分界线还是 s = 0 这条直线。逻辑回归是线性分类器。

以为神经元越复杂越好

一个神经元里能做的就是加权求和加一个激活函数,复杂度不靠单个神经元堆。网络的本事来自很多神经元连在一起,这是下一个概念要讲的。

试一下

一个神经元 w₁ = 2、w₂ = −1、b = 0,激活用 sigmoid。输入 (1, 2) 时输出大约多少?判成几?

s = 2×1 − 1×2 + 0 = 0,y = σ(0) = 0.5,正好落在分界线上。这个点就在直线 2x₁ − x₂ = 0 上。

2. XOR:一条直线分不开

它解决什么问题

它给出一个最小的反例,说明一个神经元不够。XOR 只有四个点、两个输入,简单到可以手算,可线性回归和逻辑回归都学不会它。看清它为什么学不会,就知道该往哪里加东西。

从哪来(补充)

1969 年,Marvin Minsky 和 Seymour Papert 出版《Perceptrons》一书,证明单层感知机学不会 XOR。两位作者当时已经知道多层网络能表示 XOR,但这本书仍被认为促成了此后神经网络研究经费的减少。

出处:Wikipedia: Perceptrons (book)

直觉

把四个点画在平面上。(1,0) 和 (0,1) 输出 1,在一条对角线上;(0,0) 和 (1,1) 输出 0,在另一条对角线上。两类点交叉摆放,任何一条直线都只能把平面切成两半,总会把某个点切到错的那一半。

一步一步看

目标:对 XOR 的四个点试三条直线再列线性方程,看一条直线分不开,线性拟合只能全输出 0.5。

  1. 先把四个点画出来:实心点输出 1,空心点输出 0。两类点各占一条对角线。

  2. 试三条直线:横着切、竖着切、斜着切。每一条都至少有一个点落在错的一边。

    XOR 的四个点画在三个单位正方形里,(0,1) 和 (1,0) 是实心点,(0,0) 和 (1,1) 是空心点;三块面板分别画一条横切、竖切、斜切的虚线,每块里被分错的点都用青绿圈标出来

  3. 用线性回归 y = w₁x₁ + w₂x₂ + w₃ 去拟合,四个点代进去列方程:

    点 方程
    (0,0) → 0 w₃ = 0
    (1,0) → 1 w₁ + w₃ = 1
    (0,1) → 1 w₂ + w₃ = 1
    (1,1) → 0 w₁ + w₂ + w₃ = 0
  4. 前三行推出 w₁ = 1、w₂ = 1、w₃ = 0,代进第四行得 1 + 1 = 0,矛盾。

  5. 方程没有精确解,梯度下降只能找误差最小的那组:w = (0, 0, 0.5),四个点都输出 0.5。

怎么算

线性回归的误差:

  • 每个点的预测都是 0.5,真实值是 0 或 1,误差平方都是 (0.5)² = 0.25
  • 平均下来 MSE = (0.25 + 0.25 + 0.25 + 0.25) / 4 = 0.25

意思是:模型对每个点都说「一半一半」,等于什么都没学到。课件打印的 error 正是 0.25。

逻辑回归的损失:

  • 权重全为 0 时,每个点输出 σ(0) = 0.5
  • 交叉熵每点 −ln 0.5 = ln 2 ≈ 0.693,平均还是 ln 2

意思是:二分类训练时损失停在 0.693 附近不动,多半是模型对所有样本都在猜 0.5。课件打印的 0.6931471805599453 就是 ln 2。

常见误解

以为多训练几轮、换个学习率就能学会

学不会的原因在模型本身。线性回归和逻辑回归的边界都是直线,XOR 要的边界是弯的或者分成两段。训练再久,也只能在直线里挑一条误差最小的。

以为逻辑回归的 0.693 和线性回归的 0.25 是两种不同的失败

两个数背后是同一件事:模型对所有点都输出 0.5。只是一个用 MSE 量,一个用交叉熵量。

试一下

把 XOR 换成 OR(只有 (0,0) 输出 0,其余输出 1)。能不能用一条直线分开?给一条。

能。直线 x₁ + x₂ = 0.5 把 (0,0) 和另外三个点分开。OR 和 AND 都线性可分,XOR 不行。

3. 隐藏层先造新特征

它解决什么问题

一条直线不够,那就先把点挪一挪。隐藏层用几个神经元把原来的 (x₁, x₂) 算成新的 (h₁, h₂),挪到新平面上以后,输出层的一条直线就能分开两类点。

直觉

两个隐藏神经元各学一个容易的逻辑。h₁ 学 OR:有一个输入是 1 就亮。h₂ 学 AND:两个都是 1 才亮。

XOR 等于「OR 亮了,而且 AND 没亮」。在 (h₁, h₂) 平面上,这件事就是「h₁ 大、h₂ 小」,一条斜线就能圈出来。

关键是隐藏神经元要带 sigmoid 这类弯曲的激活函数。去掉它,h₁、h₂ 都只是 x 的线性组合,挪完以后的点还是那个交叉格局。

一步一步看

目标:用课件参数逐个算 h₁、h₂,看四个 XOR 点挪到新平面后,一条直线就能分开。

下面用课件分类模型的第一组参数,一帧一帧看四个点怎么被挪走。青绿色标的是这一步算出来的东西。

  1. 先算 h₁ = σ(7.9x₁ + 7.9x₂ − 3.7)。(1,0) 和 (0,1) 括号里都是 4.2,h₁ ≈ 0.985;(1,1) 括号里是 12.1,h₁ ≈ 1;(0,0) 是 −3.7,h₁ ≈ 0。

    第 1 步:左边是原来的 (x₁, x₂) 平面上的四个 XOR 点,每个点旁用青绿字标出 h₁ 的值,(0,1) 和 (1,0) 旁是 0.985,(1,1) 旁约等于 1,(0,0) 旁约等于 0;右边说明框写着有一个输入是 1,h₁ 就接近 1,像 OR

  2. 再算 h₂ = σ(6.2x₁ + 6.2x₂ − 9.4)。(1,0) 和 (0,1) 括号里是 −3.2,h₂ ≈ 0.039;只有 (1,1) 括号里是 3.0,h₂ ≈ 0.953。

    第 2 步:同样四个点,旁边用青绿字标出 h₂ 的值,(0,1) 和 (1,0) 旁是 0.039,(1,1) 旁是 0.953,(0,0) 旁约等于 0;右边说明框写着两个输入都是 1,h₂ 才接近 1,像 AND

  3. 把每个点画到 (h₁, h₂) 平面上:(0,0) 去了左下角,(1,1) 去了右上角,(1,0) 和 (0,1) 叠在右下角同一处。输出层的直线 15h₁ − 15.7h₂ − 7 = 0 把右下角的实心点和另两个空心点分开。

    第 3 步:左边是原平面,右边是新平面 (h₁, h₂)。(0,0) 落在新平面左下角,(1,1) 落在右上角,(1,0) 和 (0,1) 两个实心点重合在右下角;一条青绿直线 15h₁ − 15.7h₂ − 7 = 0 把实心点和两个空心点分到两侧

  4. 输出 y = σ(15h₁ − 15.7h₂ − 7),四个点算出来约 0.0013、0.9992、0.9992、0.0010,判成 0、1、1、0,正好是 XOR。

怎么算

整个分类模型写成一行:

y = σ(w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉)

意思是:里面两个 σ 是隐藏层,各自把 x 算成一个新特征;外面一个 σ 是输出层,对新特征再做一次逻辑回归。

拿 (1,0) 走一遍:

  • h₁ = σ(7.9 − 3.7) = σ(4.2) ≈ 0.985
  • h₂ = σ(6.2 − 9.4) = σ(−3.2) ≈ 0.039
  • 输出层括号 = 15 × 0.985 − 15.7 × 0.039 − 7 ≈ 7.16
  • y = σ(7.16) ≈ 0.999,判 1

参数一共 9 个:两个隐藏神经元各 3 个(两个权重加一个偏置),输出神经元 3 个。

常见误解

以为只要多加几层,不加激活也行

不行。线性函数套线性函数还是线性函数:w₇(ax₁ + bx₂ + c) + w₈(dx₁ + ex₂ + f) + w₉ 展开以后仍是 αx₁ + βx₂ + γ 的样子,边界还是一条直线。隐藏层的本事全在非线性激活上。

以为 XOR 的解是唯一的

课件的回归模型和分类模型各给了两组参数,彼此完全不同,都能拟合 XOR。损失曲面上有好几个谷底,梯度下降从不同起点出发会落到不同的谷底。

试一下

用同一组 h₁、h₂,算 (1,1) 这个点的输出,看它为什么判 0。

h₁ = σ(7.9 + 7.9 − 3.7) = σ(12.1) ≈ 1,h₂ = σ(6.2 + 6.2 − 9.4) = σ(3.0) ≈ 0.9526。输出层括号 = 15 × 1 − 15.7 × 0.9526 − 7 ≈ −6.955,y = σ(−6.955) ≈ 0.0010,判 0。AND 亮了,所以被「而且不是 AND」挡掉。

把它们串起来

一个神经元就是加权求和加激活函数。线性回归和逻辑回归都是一个神经元,它们的判定边界都是一条直线。

XOR 的两类点交叉摆放,一条直线永远分不开,所以这两个模型在 XOR 上分别卡在「全输出 0.5」和「损失 ln 2」。

解法是加一层隐藏神经元。它们带着非线性激活,把原来的点搬到新平面:一个学 OR,一个学 AND。搬完以后,输出层只要再画一条直线。

整件事里不能省的是非线性。没有它,叠多少层都等于一层。下一页接着问:既然能叠,宽度和深度怎么定、要多少参数、激活函数和输出层该选哪个。

课件里的坑

  • [录入错误] p.16 回归模型的橙框里,w₉ 印成 −3.7(放大 4 倍核对)。按 −3.7 代入,四个点输出约 −7.47、−6.46、−6.46、−7.47,和旁边标注对不上;改成 +3.7 后得 −0.068、0.936、0.939、−0.067,与标注一致(p.16)
  • [读图提醒] p.16 黄框参数代回后输出约 0.085、1.066、1.081、0.069,和标注差约 0.08,可能是参数只保留了一两位小数。照这组参数手算,得数不会是整齐的 0.0 和 0.99(p.16)
  • [没给答案] p.14 到 p.17 都列了测试点 [0.9,1],课件没给它的预测值。按 p.17 第一组参数算约 0.0017,按第二组约 0.0022,都判 0(p.17)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上画出 XOR 的四个点,试着画一条直线分开它们,确认画不出来;再写出 h₁ 像 OR、h₂ 像 AND 那两个式子,自己代一遍 (1,0);然后过四道课件例题;最后回查一个最容易错的地方:sigmoid 不会让逻辑回归的边界变弯。

必背

  1. 单个神经元 = 先加权求和、再过激活函数;去掉激活就是线性回归,激活用 sigmoid 就是逻辑回归。
  2. XOR 线性不可分:线性回归最好只能全输出 0.5,逻辑回归卡在 ln 2 ≈ 0.693。
  3. 逻辑回归的判定边界仍是一条直线,sigmoid 只把分数压进 (0,1),改变不了边界的形状。
  4. 隐藏层必须有非线性激活,否则多层叠起来仍是线性模型。
  5. 课件第一组分类参数里 h₁ 相当于 OR、h₂ 相当于 AND,输出「OR 而且不是 AND」就是 XOR。
  6. 同一个网络结构可以有多组好解,损失的谷底不止一个。

课件例题

例 1(课件 p.14):XOR 用线性回归,为什么失败

题面:XOR 四个训练点 [0,0]→0、[1,0]→1、[0,1]→1、[1,1]→0,测试点 [0.9,1]。模型 y = w₁x₁ + w₂x₂ + w₃。课件给出梯度下降的结果是 error 0.25、w₁ = 0.00、w₂ = −0.00、w₃ = 0.50。

提示

把四个点逐个代进模型,列出四个方程,看三个未知数能不能同时满足。

解答
  1. 代入 [0,0] 得 w₃ = 0;代入 [1,0] 得 w₁ = 1;代入 [0,1] 得 w₂ = 1。
  2. 代入 [1,1] 要求 w₁ + w₂ + w₃ = 0,即 1 + 1 = 0,矛盾。四个方程三个未知数,没有精确解。
  3. 最小二乘的最好结果是 w = (0, 0, 0.5),四个点都预测 0.5,每点误差平方 0.25,平均也是 0.25,和课件一致。线性模型等于什么都没学到。

例 2(课件 p.15):XOR 用逻辑回归,为什么失败

题面:模型换成 y = σ(w₁x₁ + w₂x₂ + w₃),损失用交叉熵。课件打印的结果是 loss 0.6931471805599453,权重全为 0。

提示

σ 输出 0 要求括号趋于负无穷,输出 1 要求趋于正无穷。对四个点各写一条要求,看能不能同时成立。

解答
  1. [0,0]→0 要求 w₃ → −∞。
  2. [1,0]→1 要求 w₁ + w₃ → +∞,所以 w₁ 要比 w₃ 更快地趋于 +∞;同理 w₂。
  3. [1,1]→0 要求 w₁ + w₂ + w₃ → −∞,可前三条推出 (w₁ + w₃) + w₂ → +∞,矛盾。几何上就是一条直线分不开 XOR 的两类点。
  4. 权重全 0 时每个点输出 σ(0) = 0.5,交叉熵每点 −ln 0.5 = ln 2 ≈ 0.693,正是课件打印的那个数。

例 3(课件 p.16):加一个隐藏层做回归

题面:模型 y = w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉,共 9 个参数,损失 MSE。课件给两组解。橙框 w₁…w₉ = −2.6, 2.4, 1.5, 3.3, −3, 1.8, −2.3, −2.2, −3.7,标注四点输出 −0.07 / 0.94 / 0.94 / −0.07。黄框 −1.6, −1.6, 2.1, −3.5, −3.4, 0.48, 3.1, −3.2, −0.7,标注 0.0 / 0.99 / 0.99 / 0.0。验算橙框在 [0,0] 处的输出。

提示

[0,0] 时两个隐藏单元的输入只剩偏置 w₃ 和 w₆。先算 σ(1.5) 和 σ(1.8),再代进输出层。

解答
  1. [0,0] 时两个隐藏单元只剩偏置:σ(1.5) ≈ 0.818,σ(1.8) ≈ 0.858。
  2. 照课件 w₉ = −3.7 算,输出约 −7.47,和标注对不上。w₉ 应为 +3.7,课件的负号是录入错误。
  3. 改正后:−2.3 × 0.818 − 2.2 × 0.858 + 3.7 ≈ −0.07,与标注一致。
  4. 两组参数完全不同,都能拟合 XOR:同一个结构可以有多组好解,损失的谷底不止一个。

例 4(课件 p.17):加一个隐藏层做分类

题面:输出层再套一个 σ,损失换成交叉熵:y = σ(w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉)。第一组参数 7.9, 7.9, −3.7, 6.2, 6.2, −9.4, 15, −15.7, −7。验算 [1,0] 的输出,并判断测试点 [0.9,1]。

提示

先分别看 h₁、h₂ 在四个点上什么时候接近 1,认出它们各像哪个逻辑运算,再把 [1,0] 代进去。

解答
  1. h₁ = σ(7.9x₁ + 7.9x₂ − 3.7):有一个输入为 1 就接近 1,相当于 OR。h₂ = σ(6.2x₁ + 6.2x₂ − 9.4):两个都为 1 才接近 1,相当于 AND。
  2. [1,0]:h₁ = σ(4.2) ≈ 0.985,h₂ = σ(−3.2) ≈ 0.039;括号内约 7.16,σ(7.16) ≈ 0.999,判 1。
  3. 四个点的输出约 0.0013、0.9992、0.9992、0.0010,和标注一致。输出层算的是「OR 而且不是 AND」,正好是 XOR。
  4. 测试点 [0.9,1] 课件没给答案。按第一组算约 0.0017,按第二组约 0.0022,都判 0。

完整例题

题面(课件 p.17):用第一组参数 w₁…w₉ = 7.9, 7.9, −3.7, 6.2, 6.2, −9.4, 15, −15.7, −7,把 XOR 的四个点和测试点 [0.9,1] 全部算一遍:写出 h₁、h₂、输出层括号里的值和最终输出,判成 0 还是 1。

约定:σ(z) = 1 / (1 + e⁻ᶻ),结果保留四位小数,输出大于 0.5 判 1。

解法:

  1. 列出三个式子:h₁ = σ(7.9x₁ + 7.9x₂ − 3.7),h₂ = σ(6.2x₁ + 6.2x₂ − 9.4),z = 15h₁ − 15.7h₂ − 7,y = σ(z)。
  2. [0,0]:h₁ = σ(−3.7) = 0.0241,h₂ = σ(−9.4) = 0.0001,z = 15 × 0.0241 − 15.7 × 0.0001 − 7 = −6.639,y = 0.0013,判 0。
  3. [1,0]:h₁ = σ(4.2) = 0.9852,h₂ = σ(−3.2) = 0.0392,z = 15 × 0.9852 − 15.7 × 0.0392 − 7 = 7.163,y = 0.9992,判 1。
  4. [0,1]:两个输入的权重相同,结果和 [1,0] 一样,y = 0.9992,判 1。
  5. [1,1]:h₁ = σ(12.1) ≈ 1.0000,h₂ = σ(3.0) = 0.9526,z = 15 − 15.7 × 0.9526 − 7 = −6.955,y = 0.0010,判 0。
  6. 测试点 [0.9,1]:h₁ = σ(11.31) ≈ 1.0000,h₂ = σ(2.38) = 0.9153,z = 15 − 15.7 × 0.9153 − 7 = −6.37,y = 0.0017,判 0。

要点:h₁ 在三个「至少一个是 1」的点上都接近 1,h₂ 只在 [1,1] 接近 1。输出层的权重一正一负,算的是「h₁ 大而且 h₂ 小」。

答题格式:画一张表「点 / h₁ / h₂ / z / y / 判」,每行一个点,最后一句话说明 h₁、h₂ 分别像什么逻辑。

变式题(先自己做)

改编自课件 p.17。隐藏层参数不变,把输出层改成 y = σ(−15h₁ + 15.7h₂ + 7),也就是三个输出层参数全部取反。四个点的输出各是多少?这个网络实现的是什么逻辑?

提示

h₁、h₂ 不用重算,直接用完整例题里的值。输出层括号正好是原来 z 的相反数,σ(−z) = 1 − σ(z)。

判分点与答案(非官方)

判分点:① 看出 h₁、h₂ 与原题相同可直接复用;② 输出层括号取反;③ 写出四个输出;④ 认出新逻辑是 XNOR(同或)。

  1. [0,0]:括号 = 6.639,y = 0.9987,判 1。
  2. [1,0] 和 [0,1]:括号 = −7.163,y = 0.0008,判 0。
  3. [1,1]:括号 = 6.955,y = 0.9990,判 1。
  4. 输出 1、0、0、1:两个输入相同时输出 1,这是 XNOR(同或),正好是 XOR 取反。

闪卡自测

1. 一个神经元由哪两步组成?

先加权求和(含偏置),再过激活函数。

2. 逻辑回归的判定边界是直线还是曲线?

直线。y > 0.5 等价于加权和 s > 0,分界线是 s = 0。

3. 为什么线性回归在 XOR 上最多只能做到 MSE 0.25?

四个方程三个未知数互相矛盾,最小二乘解是 w = (0, 0, 0.5),四个点都输出 0.5,每点误差平方 0.25(p.14)。

4. 二分类训练时 loss 一直停在 0.693 附近,说明什么?

0.693 ≈ ln 2,通常说明模型对每个样本都输出 0.5,什么都没学到(p.15)。

5. p.17 第一组参数里两个隐藏单元各相当于什么逻辑运算?

h₁ 相当于 OR,h₂ 相当于 AND,输出是「OR 而且不是 AND」,即 XOR(p.17)。

6. 去掉隐藏层的激活函数,XOR 还能学会吗?

学不会。线性函数套线性函数仍是线性函数,整个网络退化成一个线性模型。

7. p.16 橙框的哪个参数印错了?

w₉,印成 −3.7,应为 +3.7(p.16)。

8. p.16 回归模型一共几个参数?

9 个:两个隐藏神经元各 3 个,输出层 3 个(p.16)。

9. 判断:XOR 只有一组能拟合它的参数。

错。课件回归和分类各给了两组完全不同的好解(p.16、p.17)。

下一讲

本讲下一页讲网络怎么加宽、加深、数参数,以及激活函数和输出层怎么选:L04b。

下一讲 →
L04b L04b 搭网络:加宽加深、选激活函数、配输出层

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。