← COMP5541 全部讲次
L03a-3 · 第 4 周

L03a-3 为什么非得是交叉熵:L2 的梯度在两端归零

把损失换回平方差,同样走三段链式,看 y(1−y) 约不掉以后梯度在错得最离谱的地方归零;再从最大似然出发,把交叉熵重新推一遍。

一句话版

逻辑回归能不能沿用上一讲的平方差损失?不能。平方差的梯度里留着 sigmoid 的导数 y(1 − y),预测贴到 0 或 1 时它趋于 0,模型错得最离谱的时候反而学不动。交叉熵能把这一项约掉,而且它可以从「让训练数据出现的概率最大」这条原理推出来。

梯度的三段链式推导见上一页 L03a-2,这一页直接拿来用。

先认识这几个词

词 全称 / 读法 一句人话
L2 loss 平方差损失 (ȳ − y)² 上一讲线性回归用的损失,预测和答案差的平方
损失曲面 loss landscape 把损失画成参数 w、b 的函数,得到的一张起伏的面
似然 likelihood 用当前参数,训练数据「恰好长这样」的概率
最大似然估计 MLE,maximum likelihood estimation 挑一组参数,让训练数据出现的概率最大
负对数似然 NLL,negative log-likelihood 似然取对数再加负号,把求最大变成求最小
连乘 符号 Π,读「派」 把一串数全部乘起来,和 Σ 全部加起来对应

一个类比:教练与装睡的学生

两位教练纠正投篮。第一位按「偏差」开口:偏得越多,说得越重。第二位的嗓门要再乘一个「学生现在有多清醒」:学生半睡半醒时他才大声,学生睡死了或者已经投得很准时,他都几乎不出声。

问题出在睡死的那位。他投得最差,最需要纠正,第二位教练却在这时候闭了嘴。

L2 loss 就是第二位教练。「清醒程度」是 sigmoid 的导数 y(1 − y),预测贴到 0 或 1 时它几乎为 0。交叉熵是第一位,嗓门只看偏差 y − ȳ。

类比在哪里失效:

  • 预测贴近 1 而答案也是 1 时,L2 不出声是对的,那时本来就不该再推。L2 的毛病只在「贴到错的那一端」时暴露。
  • 真实的教练能看出学生睡着了。梯度下降看不出,它只会按梯度大小迈步,梯度近 0 就原地踏步。

从零讲起

1. L2 的梯度在两端归零

它解决什么问题

上一讲的线性回归用平方差,这一讲换成了交叉熵。为什么要换?要看换回平方差会出什么事。

直觉

同样走三段链式,前两段 dy/dt = y(1 − y) 和 dt/dw = x 完全不变,只有第一段 dL/dy 换了。

交叉熵的第一段分母里有 y(1 − y),能和第二段约掉。平方差的第一段是 2(y − ȳ),没有分母,y(1 − y) 只好留在梯度里。y 贴近 0 或 1 时 y(1 − y) 几乎为 0,梯度跟着几乎为 0。

一步一步看

目标:让输出 y 从 0.01 走到 0.9,看交叉熵的推力随错误变大,L2 在错得最离谱时反而几乎不推。

固定 ȳ = 1、x = 1,让模型输出 y 从「错得离谱」走到「差不多对了」,每一步比较两种损失的梯度,柱子越长参数被推得越狠。

  1. y = 0.01,错得最离谱。交叉熵梯度 y − ȳ = −0.99,L2 梯度 2 × (−0.99) × 0.01 × 0.99 ≈ −0.0196,几乎是零。

    交叉熵与 L2 梯度对比第 1 步:标签为 1、输入为 1、模型输出 0.01,描边长柱是交叉熵梯度 −0.99,灰底短柱是 L2 梯度约 −0.0196,几乎看不见

  2. y = 0.5,半对半错。交叉熵梯度 −0.5,L2 梯度 2 × (−0.5) × 0.5 × 0.5 = −0.25,这是 L2 推得最狠的地方之一。

    交叉熵与 L2 梯度对比第 2 步:模型输出 0.5,交叉熵梯度 −0.5,L2 梯度 −0.25,两根柱子长度差两倍

  3. y = 0.9,差不多对了。交叉熵梯度 −0.1,L2 梯度 2 × (−0.1) × 0.9 × 0.1 ≈ −0.018。两者都变小,这一端变小是合理的。

    交叉熵与 L2 梯度对比第 3 步:模型输出 0.9,交叉熵梯度 −0.1,L2 梯度约 −0.018,三行柱子并排可见 L2 在两端都几乎为零

  4. 三步并排看:交叉熵的推力随错误程度单调变大;L2 的推力在中间最大,到错的那一端反而缩回 0。

怎么算

L = (ȳ − y)²,三段分别是:

  1. dL/dy = 2(y − ȳ)
  2. dy/dt = y(1 − y)
  3. dt/dw = x

相乘:

dL/dw = 2(y − ȳ) · y(1 − y) · x

意思是:L2 的梯度等于「两倍误差 × sigmoid 的陡度 × 输入」,比交叉熵多出一个 y(1 − y)。

为了看出零点,把 x 取 1,展开成只含 y 的多项式:

dL/dw = 2(y − ȳ)(y − y²) = −2y³ + 2(1 + ȳ)y² − 2ȳy

代入两种标签:

  • ȳ = 1:−2y³ + 4y² − 2y = −2y(y − 1)²
  • ȳ = 0:−2y³ + 2y² = −2y²(y − 1)

意思是:两条曲线在 y = 0 和 y = 1 都有根,所以梯度在两端都回到 0。ȳ = 1 那条在 (0, 1) 里恒为负,ȳ = 0 那条恒为正,方向没错,大小在两端塌掉。

两张梯度曲线图:左图标签 1、右图标签 0,灰色虚线是 L2 梯度,在 y 等于 0 和 1 两端都回到 0,两端空心圈标出病灶;青绿实线是交叉熵梯度 y − ȳ,在错的一端取到最大

常见误解

以为 L2 的梯度在两端为 0 是好事,说明快收敛了

对的那一端为 0 没问题。错的那一端(ȳ = 1 而 y ≈ 0)也为 0,模型错得最离谱却不动,这才是毛病。

以为 x 取 1 改变了结论

x 只是乘在外面的比例因子,不改变零点位置。取 1 只是为了把式子化成只含 y 的多项式,方便看根。

试一下

ȳ = 0、x = 1,模型给出 y = 0.99(错得离谱)。分别算交叉熵和 L2 的梯度。

交叉熵:y − ȳ = 0.99。L2:2 × 0.99 × 0.99 × 0.01 ≈ 0.0196。交叉熵照样大力往回推,L2 几乎不动,和 ȳ = 1 的情况左右对称。

2. 损失曲面:一张起伏的面和一张平板

它解决什么问题

上一个概念从一个样本的公式看梯度。换个角度,把所有训练点的损失画成 w、b 的函数,看整张面长什么样,就知道梯度下降在上面走不走得动。

直觉

梯度下降是在这张面上找最低点。面有坡,就知道往哪走;面是平的,往哪走损失都差不多,梯度近 0,一步只挪一点点。

课件引用了 Glorot 等人的图:横轴是 w 和 b,竖轴是损失。黑色网格是交叉熵,起伏明显,从边缘的高处一路降到中间的谷底;红色网格是 L2,几乎是一张平板,只在中间有一点点凹陷。

课件的两种损失曲面对比:三维图横轴为 w 和 b,各从 −4 到 4,竖轴为损失 L;黑色网格是交叉熵,从边缘约 4 到 5 降到中心谷底,坡度清楚;红色网格是 L2 loss,几乎是一张贴在 0.5 附近的平板,只在中间轻微下凹。
图片来源:COMP5541 L03_Logistic Regression and NBC.pptx, p.19

一步一步看

目标:把同一起点放到交叉熵和 L2 两张曲面上走一步,看起点在错的一端时挪动量差约 50 倍。

把同一个起点放到两张面上,看梯度下降第一步能走多远。下表沿用上一个概念的单样本数据(ȳ = 1、x = 1),学习率 η = 1,只看 w 这一步的挪动量 η × |梯度|。

  1. 起点在错的一端,y = 0.01:交叉熵这一步挪 0.99,L2 只挪约 0.0196。

  2. 起点在中间,y = 0.5:交叉熵挪 0.5,L2 挪 0.25,差距缩到两倍。

  3. 起点在对的一端,y = 0.9:两者都只挪一点,交叉熵 0.1,L2 约 0.018。

  4. 随机初始化的起点大多落在曲面的大片平地上。L2 那张面几乎处处是平地,一步只走一点点,迭代很多轮也到不了谷底。

    起点 y 交叉熵挪动量 L2 挪动量 交叉熵 ÷ L2
    0.01 0.99 ≈ 0.0196 ≈ 50
    0.5 0.5 0.25 2
    0.9 0.1 ≈ 0.018 ≈ 5.6

怎么判断

看两样东西:

  1. 梯度表达式里有没有一个会趋于 0 的乘数没被约掉。有,就会在那个区域出现平地。
  2. 平地出现在哪。出现在「已经对了」的地方无害;出现在「还错着」的地方,训练就会卡住。

意思是:判断损失好不好用,要看它在错的地方给不给推力。L2 配 sigmoid 时两项都中招,交叉熵两项都没有。

结论页把两套模型并排放:左边交叉熵打勾,右边 L2 打叉。逻辑回归用交叉熵,不用 L2。

常见误解

以为平坦的曲面说明模型已经很好了

平坦只说明梯度小,和损失高低无关。L2 那张平板贴在 0.5 附近,离最好的情况还远,只是走不动。

以为把学习率调大就能救 L2

学习率是对所有位置一起放大,平地上的梯度从近 0 放大还是很小,有坡的地方却会被放大到冲过头。问题出在梯度形状上,调学习率治不了。

试一下

同样 ȳ = 1、x = 1,y = 0.1 时交叉熵与 L2 的挪动量之比大约是多少?

交叉熵 0.9,L2 = 2 × 0.9 × 0.1 × 0.9 = 0.162。比值 0.9 ÷ 0.162 ≈ 5.6,正好是 1/[2y(1 − y)] = 1/0.18。

3. 先补一块:连乘与对数(补充)

它解决什么问题

下一个概念要把很多个概率乘起来,再取对数。这里先把两件工具备好:连乘符号 Π 怎么读,为什么取对数能把乘变成加。

直觉

Σ 是「全部加起来」,Π 是「全部乘起来」。Π 下标写 n,就是对每个样本 n 各取一项,再全部相乘。

对数有一条性质:ln(a × b) = ln a + ln b。所以一串数的乘积取对数,等于每个数取对数再相加。

为什么要这样换?很多个小于 1 的概率相乘,结果小得飞快,计算机存不下这么小的数(下溢);对乘积求导也麻烦。换成连加,两件事都解决了。

一步一步看

目标:拿三个和一百个 0.5 分别连乘、取对数连加,看对数怎样把极小的连乘变成普通大小的数。

拿三个都等于 0.5 的概率走一遍。

  1. 连乘:0.5 × 0.5 × 0.5 = 0.125。

  2. 取对数:ln 0.125 ≈ −2.079。

  3. 先各自取对数再相加:ln 0.5 + ln 0.5 + ln 0.5 = 3 × (−0.693) ≈ −2.079,和上一步一样。

  4. 一百个 0.5 连乘约等于 7.9 × 10⁻³¹,取对数后是 100 × (−0.693) ≈ −69.3,一个很普通的数。

    做法 三个 0.5 一百个 0.5
    连乘 0.125 ≈ 7.9 × 10⁻³¹
    取对数后连加 ≈ −2.079 ≈ −69.3

怎么算

ln Πⁿ aⁿ = Σⁿ ln aⁿ

意思是:先乘后取对数,等于先取对数后加。

ln(a^k) = k · ln a

意思是:指数可以提到对数前面当系数。下一个概念里 ȳ 在指数上,取对数后它会变成乘在前面的系数。

另外,ln 是单调递增的:a 越大 ln a 越大。所以让乘积最大,和让它的对数最大,找到的是同一组参数。

常见误解

以为取了对数,最优解就变了

ln 单调递增,不改变谁大谁小,最大值出现的位置不变,只是最大值的数值变了。

以为 ln(a + b) = ln a + ln b

对数把乘变成加,不对加法起作用。ln(a + b) 没有这样的拆法。

试一下

ln(0.8 × 0.6) 等于多少?分别用两种做法算。

直接算:0.8 × 0.6 = 0.48,ln 0.48 ≈ −0.734。拆开算:ln 0.8 + ln 0.6 ≈ −0.223 + (−0.511) = −0.734。

4. 从最大似然推出交叉熵

它解决什么问题

交叉熵是直接给出来的,看着像拍脑袋。最大似然从「让训练数据出现的概率最大」这条原理出发,最后推出来的目标函数和交叉熵一字不差。

从哪来(补充)

现代形式的最大似然方法由统计学家 Ronald Fisher 在 1912 到 1922 年间独力建立。

出处:Wikipedia: Maximum likelihood estimation

直觉

换个说法读模型输出:σ(t) 是「这个点属于类别 1 的概率 p」,属于类别 0 的概率就是 1 − p。

每个训练点都有标准答案。模型给每个点「猜对的概率」:答案是 1 就取 p,答案是 0 就取 1 − p。假设各点互不影响,全部猜对的概率就是这些数连乘。参数越好,这个连乘越大。

一步一步看

目标:用四个训练点逐项写出似然里留下的因子,看连乘取对数加负号后怎样变成交叉熵。

用课件的四个一维训练点走一遍,看每一项留下什么。

  1. x = −1.2,ȳ = 0:留下 1 − σ(t¹)。

  2. x = −0.9,ȳ = 0:留下 1 − σ(t²)。

  3. x = 0.8,ȳ = 1:留下 σ(t³)。

  4. x = 1.1,ȳ = 1:留下 σ(t⁴)。四项相乘就是似然,取 ln 变连加,加负号变成要最小化的 NLL。

    四个训练点的似然连乘:表格列出 x 为 −1.2、−0.9、0.8、1.1,标签 0、0、1、1,标签为 0 的两行留下 1 − σ(t),标签为 1 的两行留下 σ(t),右侧框写似然等于四项连乘、取 ln 变连加、加负号得 NLL

怎么算

把「答案是 1 取 p、答案是 0 取 1 − p」写成一个式子:

p(y) = Πⁿ σ(tⁿ)^{ȳⁿ} · [1 − σ(tⁿ)]^{1 − ȳⁿ}

意思是:ȳⁿ 只取 0 或 1,当开关用。ȳⁿ = 1 时第二个因子的指数是 0,整项变成 1 被关掉,只剩 σ(tⁿ);ȳⁿ = 0 时反过来,只剩 1 − σ(tⁿ)。

接下来三步:

  1. 取 ln,连乘变连加,指数变系数:ln p(y) = Σⁿ [ȳⁿ ln σ(tⁿ) + (1 − ȳⁿ) ln(1 − σ(tⁿ))]
  2. 加负号,最大化变最小化:NLL = −Σⁿ [ȳⁿ ln σ(tⁿ) + (1 − ȳⁿ) ln(1 − σ(tⁿ))]
  3. 把 σ(tⁿ) 换回记号 y,单个样本那一项就是 L = −ȳ ln y − (1 − ȳ) ln(1 − y)

意思是:负对数似然逐字等于交叉熵。最大似然 ≡ 最小化交叉熵。

最后一步怎么求解?最大似然只推出了目标函数,最小化它仍然要靠梯度下降,梯度就是上一页的 (y − ȳ)x。

常见误解

以为最大似然和梯度下降是两种并列的求解方法

两条路线前半截不同、后半截相同。交叉熵是直接给一个损失,最大似然是从概率原理推出同一个损失,求解都靠梯度下降。

以为模型输出的是标签

最大似然这个视角里,σ(t) 是属于类别 1 的概率 p。标签是拿 p 和阈值比较之后才得到的。

试一下

两个训练点,ȳ 分别为 1 和 0,模型给出的 σ(t) 分别为 0.8 和 0.3。似然和 NLL 各是多少?

第一点留下 0.8,第二点留下 1 − 0.3 = 0.7。似然 = 0.8 × 0.7 = 0.56。NLL = −ln 0.8 − ln 0.7 ≈ 0.223 + 0.357 = 0.580,等于两个点的交叉熵相加。

把它们串起来

逻辑回归能不能沿用平方差?把它代进三段链式就知道:第一段没有分母,sigmoid 的导数 y(1 − y) 约不掉,梯度在 y = 0 和 y = 1 两端都塌到 0。

塌在对的一端无害,塌在错的一端就是灾难,模型错得最离谱时反而不动。损失曲面图把同一件事画了出来:L2 那张面几乎是平板,梯度下降无处可下。

交叉熵没有这个毛病,而且它不是拍脑袋来的。把模型输出读作概率,训练数据全部猜对的概率是一串连乘;取对数、加负号,得到的负对数似然逐字就是交叉熵。

所以逻辑回归的三件套定下来了:线性一层、sigmoid、交叉熵,用梯度下降求解。下一页看这个模型到底在空间里画了一条什么样的线,以及怎么推广到很多类。

课件里的坑

  • [读图提醒] p.18 把 L2 梯度展开成 −2y³ + 2(1 + ȳ)y² − 2ȳy 时,x 被当作 1 了,否则右边不可能化成只含 y 的多项式。不影响结论,手推时要写明这个前提(p.18)。
  • [读图提醒] p.21 底部有一行在导出的图里被裁掉,内容是:若模型预测属于 ‘1’ 的概率是 p,则属于 ‘0’ 的概率就是 1 − p(p.21)。
  • [排版误导] p.13 把梯度下降和最大似然排成「二选一」的两条路线,两者并不平行。p.21 证明最大似然推出的目标就是交叉熵,最后一步仍是梯度下降(p.13)。
  • [悬念跨页] p.12 底部用橙色虚线框住 L2 loss 打了个问号,答案隔了好几页,到 p.18 推导、p.19 画图、p.20 才下结论。复习时三页连着看(p.12)。

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写 L2 梯度的三段和两个分支,指出两端的零点;再从「答案是 1 取 p」开始,把似然到交叉熵的三步写一遍;最后做完整例题和变式题。

必背

  1. L2 loss 用在逻辑回归上,梯度 2(y − ȳ)·y(1 − y)·x 里的 y(1 − y) 约不掉:ȳ = 1 时为 −2y(y − 1)²,ȳ = 0 时为 −2y²(y − 1)(x 取 1),两条在 y = 0 和 y = 1 两端都归零。
  2. L2 失效的要害:ȳ = 1 而 y ≈ 0 时错得最离谱,梯度却接近 0,参数几乎不动;交叉熵在同一位置梯度是 y − ȳ ≈ −1。
  3. 交叉熵的损失曲面起伏明显,L2 的曲面几乎是平板,梯度下降无处可下,所以逻辑回归用交叉熵、不用 L2。
  4. 最大似然:p(y = 1) = σ(t),似然写成 Πⁿ σ(tⁿ)^{ȳⁿ}·[1 − σ(tⁿ)]^{1 − ȳⁿ},指数 ȳⁿ 当开关,一个式子同时表达两种标签。
  5. 取对数变连加、加负号变最小化,负对数似然把 σ(t) 换回 y 就逐字等于交叉熵:最大似然 ≡ 最小化交叉熵;MLE 只推出目标函数,求解仍用梯度下降。

课件例题

例 1(课件 p.12,答案在 p.18–20):逻辑回归能不能继续用 L2 loss,L = 1/N Σ(ȳⁿ − yⁿ)²?

提示

只换三段链式的第一段,看 sigmoid 的导数 y(1 − y) 还能不能约掉;把 x 取 1,分 ȳ = 1 和 ȳ = 0 两种情况因式分解,找零点。

解答

不能。dL/dy = 2(y − ȳ),dy/dt = y(1 − y),dt/dw = x,合起来 dL/dw = 2(y − ȳ)·y(1 − y)·x,y(1 − y) 约不掉。x 取 1 时,ȳ = 1 得 −2y(y − 1)²,ȳ = 0 得 −2y²(y − 1),两条在 y = 0 和 y = 1 都归零。ȳ = 1 而 y ≈ 0 时错得最离谱,梯度却接近 0,训练卡死。p.19 的曲面图显示 L2 几乎是平板;p.20 结论:用交叉熵,不用 L2。

例 2(课件 p.21):用最大似然估计推导逻辑回归的目标函数,并说明它和交叉熵的关系。

提示

先把模型读作 p(y = 1) = σ(t),用指数开关把两种标签写进一个连乘,再取对数、加负号。

解答

p(y = 1) = σ(t),p(y = 0) = 1 − σ(t)。似然 p(y) = Πⁿ σ(tⁿ)^{ȳⁿ}·[1 − σ(tⁿ)]^{1 − ȳⁿ}。目标是最大化 p(y);取对数变连加,加负号变最小化,得 NLL = −Σⁿ [ȳⁿ lnσ(tⁿ) + (1 − ȳⁿ) ln(1 − σ(tⁿ))]。把 σ(tⁿ) 换回 y,每一项就是交叉熵 L = −ȳ ln y − (1 − ȳ) ln(1 − y)。所以最大似然等价于最小化交叉熵;之后用梯度下降求解(Then use gradient descent)。

完整例题

题面(改编自课件 p.18 与 p.15):样本 x = 0.8、ȳ = 1,当前 w = 0.5、b = 0(这组数是自设的)。分别算交叉熵和 L2 对 w 的梯度,比较两者大小。

约定:保留六位小数;L2 取单样本 L = (ȳ − y)²,不除 N。

解法:

  1. 前向:t = 0.4,y = σ(0.4) ≈ 0.598688。
  2. sigmoid 的陡度:y(1 − y) = 0.598688 × 0.401312 ≈ 0.240261。
  3. 交叉熵梯度:(y − ȳ)x = (−0.401312) × 0.8 ≈ −0.321050。
  4. L2 梯度:2(y − ȳ)·y(1 − y)·x = 2 × (−0.401312) × 0.240261 × 0.8 ≈ −0.154271。
  5. 比值:−0.321050 ÷ (−0.154271) ≈ 2.081,正好等于 1/[2y(1 − y)] = 1/0.480522。

要点:两个梯度方向相同,L2 只有交叉熵的一半左右。这个点 y 离 0.5 不远,差距还小;y 越贴近错的一端,差距越大。

答题格式:先写两个梯度的通式,再代数,最后写比值等于 1/[2y(1 − y)] 并说明它在两端趋于无穷。

变式题(先自己做)

改编自课件 p.18 与 p.15,换课件数据里的另一个点:x = −1.2、ȳ = 0,w = 0.5、b = 0。分别算两种梯度,求比值;再说出 y = 0.5 和 y = 0.01 时这个比值各是多少。

提示

比值和 x、ȳ 都无关,只看 y(1 − y)。

判分点与答案(非官方评分标准)

判分点:① L2 梯度写对三段并相乘;② 比值写成 1/[2y(1 − y)];③ 说出两端比值趋于无穷的含义。

  1. t = −0.6,y ≈ 0.354344,y(1 − y) ≈ 0.228784。
  2. 交叉熵:0.354344 × (−1.2) ≈ −0.425212。
  3. L2:2 × 0.354344 × 0.228784 × (−1.2) ≈ −0.194564。
  4. 比值 ≈ 2.186 = 1/[2 × 0.228784]。
  5. y = 0.5 时比值 1/(2 × 0.25) = 2;y = 0.01 时 1/(2 × 0.0099) ≈ 50。错得越离谱,L2 比交叉熵弱得越多。

闪卡自测

1. L2 loss 在逻辑回归里的梯度是什么?

dL/dw = 2(y − ȳ)·y(1 − y)·x(p.18)。

2. x 取 1 时,ȳ = 1 和 ȳ = 0 两个分支各是什么?

ȳ = 1:−2y(y − 1)²;ȳ = 0:−2y²(y − 1)(p.18)。

3. L2 失效的要害一句话怎么说?

错得最离谱时(ȳ = 1 而 y ≈ 0)梯度接近 0,参数几乎不动(p.18)。

4. 损失曲面图里交叉熵和 L2 各长什么样?

交叉熵起伏明显;L2 几乎是一张平板,梯度下降无处可下(p.19)。

5. 最大似然里模型输出怎么读?

σ(t) 是属于类别 1 的概率 p,属于类别 0 的概率是 1 − p(p.21)。

6. 似然式子里 ȳⁿ 放在指数上起什么作用?

当开关:ȳⁿ = 1 时只剩 σ(tⁿ),ȳⁿ = 0 时只剩 1 − σ(tⁿ)(p.21)。

7. 为什么要取对数?

连乘变连加,避免数值下溢、方便求导;ln 单调,不改变最优解位置(p.21)。

8. MLE 推完之后用什么求解?

仍用梯度下降,MLE 只负责推出目标函数(p.21)。

下一讲

三件套定下来了,这个模型在空间里画出的是什么?一个超平面。再往前一步,二分类推广到很多类,sigmoid 换成 softmax:L03a-4 决策边界与 softmax。

下一讲 →
L03a-4 L03a-4 决策边界与 softmax:逻辑回归画的是一条直线

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。