← COMP5541 全部讲次
L03a · 第 4 周

L03a 逻辑回归:给线性模型套一层 sigmoid

分类的答案从一个数变成一个标签。从零讲 one-hot、sigmoid 和交叉熵:线性那一步原样保留,后面接 sigmoid 压成概率,损失换成交叉熵。

一句话版

逻辑回归用来做分类。它把线性回归算出来的那个数 t 套进 sigmoid,压成 0 到 1 之间的概率;衡量错得多离谱的损失,从平方差换成交叉熵。

读之前最好先懂线性回归和梯度下降,见 L02a。这一页讲模型长什么样;梯度怎么推、为什么非用交叉熵,在后面三页。

先认识这几个词

词 全称 / 读法 一句人话
分类 classification 答案是有限几个标签里的一个,比如猫、狗、马
one-hot 独热编码 一串 0,只在正确类别的位置放一个 1
σ(t)、sigmoid 读「西格玛 t」,S 形函数 把任意实数压进 0 到 1 之间,当概率读
logit / pre-activation 读「逻辑特」/ 激活前的值 套 sigmoid 之前那个 t = w’x + b
交叉熵 cross-entropy 分类用的损失:给正确答案的概率越低,罚得越重
ln 自然对数 以 e 为底的对数;ln 1 = 0,越靠近 0 越往负无穷掉

一个类比:中介 A 改做判断题

上一讲中介 A 在纸条上写 价格 = w × 面积 + b,输出一个金额。这一讲他接了个新活:只回答「这套房三十天内卖得掉吗」,答案要么是 0,要么是 1。

纸条的第一行不用改,t = w × 面积 + b 照写。麻烦在输出:这一行可能算出负数,也可能算出几百万,而答案只有两种。

于是 A 在后面接了一个 sigmoid,把任意实数压进 (0, 1),读成「卖得掉的概率」,0.5 就是分水岭。

第二个麻烦是怎么给错误打分。房子真卖掉了,A 说「卖得掉的概率九成」,该罚一点点;A 说「一成」,该狠狠地罚。交叉熵就是这样一张罚单。

类比在哪里失效:

  • 真实的中介会看很多东西再拍脑袋。逻辑回归只会把特征加权求和,所以它画出来的分界永远是直的。
  • 中介说「九成」可能只是口头禅。逻辑回归的输出经过训练校准,概率值本身有意义,这一点在本讲最后和朴素贝叶斯比较时会用上。

从零讲起

1. 分类:输出从一个数变成一组概率

它解决什么问题

上一讲的回归,标准答案是一个数,模型输出也是一个数,差多少一减就知道。分类的标准答案是一个标签,比如「狗」。标签没法直接和数相减,得先换一种写法,让答案和输出能放在一起比。

直觉

给每个类别排一个座位。三个类别就排三个座位:猫坐第 1 个,狗坐第 2 个,马坐第 3 个。标准答案是「狗」,就在第 2 个座位放 1,其余放 0,写成 [0 1 0]。

模型不必一口咬定。它可以在每个座位上放一个概率,比如 [0.7 0.2 0.1],意思是七成像猫、两成像狗、一成像马。三个数加起来是 1。

一步一步看

目标:用一张狗的照片对照标准答案和模型输出,看分类两边都是向量,回归两边都是一个数。

  1. 先定好有几个类别、各坐哪个座位。课件里是三类:狗 [0 1 0]、猫 [1 0 0]、马 [0 0 1]。

  2. 拿一张狗的照片,标准答案就写成 [0 1 0]。

  3. 模型看完照片,吐出一组概率 [0.7 0.2 0.1]。它最看好的是第 1 个座位,猫,判错了。

  4. 标准答案和模型输出都是长度为 3 的向量,可以逐位比较。上一讲的回归两边都是一个数(标量)。

    左右对比图:左边回归,标准答案和模型输出都是一个数,如 ȳ 等于 0.5、y 等于 0.4;右边分类,标准答案是 one-hot 向量,狗 [0 1 0]、猫 [1 0 0]、马 [0 0 1],模型输出是一组加起来为 1 的概率 [0.7 0.2 0.1]

怎么判断

拿到一道题,问两句:

  • 标准答案是不是有限几个标签里的一个?是,就是分类;答案是一个连续的数,就是回归。
  • 模型输出是一个数,还是每个类别各一个概率?分类模型的输出是一组概率,长度等于类别总数。

还有两条前提,课件写在角落里:类别总数是预先定好的,类别和 one-hot 向量的对应关系也是预先定好的。训练中途冒出一个新类别,不在这套设定里。

常见误解

以为分类就是回归后面加一个四舍五入

标签之间没有大小。猫记作 1、狗记作 2、马记作 3,再用回归去拟合,等于说「狗在猫和马中间」,这句话没有意义。one-hot 让每个类别各占一位,互相之间没有远近,才能和概率输出一位一位地比。

以为模型输出的概率里最大的那个一定对

最大的那个是模型的判断,对不对要看标准答案。上面那张狗的照片,模型最看好猫,就是判错了;损失函数的任务就是把这种错误量化成一个数。

试一下

四个类别:苹果、香蕉、橙、梨,按这个顺序排座位。一张橙子的照片,标准答案怎么写?模型输出 [0.1 0.1 0.6 0.2],判对了吗?

标准答案是 [0 0 1 0]。模型输出里最大的是第 3 位 0.6,对应橙,判对了。四个概率加起来 0.1 + 0.1 + 0.6 + 0.2 = 1。

2. sigmoid:把任意实数压成概率

它解决什么问题

先看最简单的二分类:答案只有 0 和 1。线性模型 t = w’x + b 算出来的 t 可以是任何实数,负一百也行,正一万也行。概率必须落在 0 到 1 之间。需要一个函数,把整条实数轴压进 (0, 1),同时保留「t 越大越像 1」这个次序。

从哪来(补充)

这条 S 形曲线比机器学习老得多。比利时数学家 Pierre François Verhulst 在 1838 到 1847 年间发表三篇论文,用它描述人口增长:一开始几乎按指数涨,资源吃紧后慢下来,最后贴着一个上限走平。他在 1844 年给它取名 logistic,没有解释为什么叫这个名字。

逻辑回归里的 logit 一词由 Joseph Berkson 在 1944 年造出,他也是这套方法的主要推广者。

出处:Wikipedia: Logistic function、Wikipedia: Logistic regression

直觉

想象一个调光旋钮。往左拧到底,灯几乎全灭,但永远不会彻底黑;往右拧到底,灯几乎全亮,但永远亮不过上限。正中间亮一半。

sigmoid 就是这个旋钮:t 是旋钮的位置,y 是亮度。t 很负时 y 贴着 0,t 很正时 y 贴着 1,t = 0 时 y 正好是 0.5。中间一段变化最快,两头越来越平。

一步一步看

目标:把 t = −2、0、2 代进 sigmoid,看任意实数怎样被压进 0 到 1,0 处正好是 0.5。

把三个 t 依次代进 σ(t) = 1 / (1 + e^(−t))。e 约等于 2.718。

  1. t = −2:e^2 ≈ 7.389,y = 1 / (1 + 7.389) ≈ 0.12。点落在曲线左下方,贴近 0。

    sigmoid 逐帧第 1 帧:S 形曲线横轴 t 从 −6 到 6,纵轴 0 到 1,t 等于 −2 处用青绿点标出,y 约 0.12;右侧小表只填了这一行,另外两行是问号

  2. t = 0:e^0 = 1,y = 1 / (1 + 1) = 0.5。点落在正中间,这是分水岭。

    sigmoid 逐帧第 2 帧:同一条 S 形曲线,t 等于 0 处用青绿点标出,y 正好 0.5;上一帧 t 等于 −2 的点留作空心点,右侧小表填到第二行

  3. t = 2:e^(−2) ≈ 0.135,y = 1 / (1 + 0.135) ≈ 0.88。点落在右上方,贴近 1。−2 和 2 对称,0.12 + 0.88 = 1。

    sigmoid 逐帧第 3 帧:t 等于 2 处用青绿点标出,y 约 0.88;前两帧的点留作空心点,右侧小表三行都填满:−2 对 0.12、0 对 0.5、2 对 0.88

怎么算

逻辑回归和线性回归,课件左右两列逐行对照:

线性回归 逻辑回归(二分类)
第一步 tⁿ = w’xⁿ + b tⁿ = w’xⁿ + b(完全相同)
第二步 yⁿ = tⁿ yⁿ = σ(tⁿ) = 1 / (1 + exp(−tⁿ))

上标 n 表示第 n 个训练样本。意思是:第一步一字不改,照样把特征加权求和再加偏置;第二步多套一层 sigmoid,把 t 压成概率 y。

为什么 σ(t) 一定落在 (0, 1):exp(−t) 永远大于 0,所以分母 1 + exp(−t) 永远大于 1,倒数就落在 0 和 1 之间。t 越大,exp(−t) 越小,y 越靠近 1。

t 有两个名字,都要记:logit 和 pre-activation(激活前的值)。第二个名字是给下一讲铺路的。到那时每一层神经网络都有自己的 pre-activation,sigmoid 只是众多激活函数里的一个。

常见误解

以为套了 sigmoid 之后,模型的分界就变弯了

sigmoid 单调递增,只把实数轴压扁,不改变谁大谁小。y > 0.5 等价于 t > 0,分界处始终是 t = 0,也就是 w’x + b = 0 这条直线(高维时是平面)。决策边界那一页会把这件事画出来。

以为 t 很大时 y 会等于 1

只会无限靠近 1,永远到不了。这一点到算交叉熵时很重要:ln 0 没有定义,而 y 永远不会正好是 0 或 1,所以交叉熵永远算得出来。

试一下

w = 1、b = 0,输入 x = 0.8。t 是多少?y = σ(t) 大概是多少?模型更倾向判 0 还是判 1?

t = 1 × 0.8 + 0 = 0.8。e^(−0.8) ≈ 0.449,y = 1 / 1.449 ≈ 0.69。y > 0.5,倾向判 1。

3. 交叉熵:给分类的错误打分

它解决什么问题

模型输出了「是 1 的概率 y」,标准答案是 ȳ(读「y 拔」,0 或 1)。需要一个数来说明这次错得多离谱:猜对且有把握时罚得少,猜错还很有把握时罚得多。梯度下降靠这个数往下走。

直觉

只盯着一件事:模型给正确答案分了多少概率。

答案是 1 时,模型给「是 1」的概率是 y;答案是 0 时,给「是 0」的概率是 1 − y。把这个概率记作 p,罚 −ln p。

p = 1,罚 0,完全没错。p 往 0 掉,−ln p 往无穷大冲。错得越自信,罚得越狠,而且不是线性地加重。

一步一步看

目标:答案为 1 时让模型给出 0.9、0.5、0.1,看交叉熵对越自信的错罚得越重。

设答案 ȳ = 1,这时罚 −ln y。让模型给出三个不同的 y:

  1. y = 0.9:模型九成把握判对,罚 −ln 0.9 ≈ 0.11,很轻。

    交叉熵逐帧第 1 帧:−ln y 曲线,横轴 y 从 0 到 1,纵轴损失从 0 到 4 多,y 等于 0.9 处用青绿点标出,损失约 0.11;右侧小表只填了这一行

  2. y = 0.5:模型拿不准,罚 −ln 0.5 ≈ 0.69。

    交叉熵逐帧第 2 帧:同一条 −ln y 曲线,y 等于 0.5 处用青绿点标出,损失约 0.69;上一帧 y 等于 0.9 的点留作空心点

  3. y = 0.1:模型九成把握判成 0,判错了,罚 −ln 0.1 ≈ 2.30。从 0.5 降到 0.1,概率只少了 0.4,罚款翻了三倍多。

    交叉熵逐帧第 3 帧:y 等于 0.1 处用青绿点标出,损失约 2.30,曲线在这里已经很陡;前两帧的点留作空心点,右侧小表三行都填满

ȳ = 0 的情况把曲线左右翻过来:罚 −ln(1 − y),y 越靠近 1 罚得越重。

怎么算

单个样本的交叉熵:

L = −ȳ ln y − (1 − ȳ) ln(1 − y)

意思是:ȳ 只能取 0 或 1,它在这里当开关。ȳ = 1 时第二项乘了 0,只剩 −ln y;ȳ = 0 时第一项乘了 0,只剩 −ln(1 − y)。一个式子盖住两种情况。

N 个样本取平均,就是课件那一行:

L = (1/N) Σ[−ȳⁿ ln yⁿ − (1 − ȳⁿ) ln(1 − yⁿ)]

意思是:每个样本各罚一次,加起来除以 N。对照线性回归的 L = (1/N) Σ(ȳⁿ − yⁿ)²,换掉的只有求和号里面那一项。

课件在两个 ln 旁边标了 logₑ or log₂,底数取 e 或 2 都行。换底公式 log₂ p = ln p / ln 2,ln 2 是一个固定的数,所以换底只是给整个损失乘一个常数。意思是:曲线被整体拉高或压低,最低点还在原来的位置,梯度方向也不变。

能不能沿用上一讲的平方差?课件在这一页底下打了一个大问号,答案在 L03a-3:不能。

常见误解

以为交叉熵的两项每次都要算

每个样本只有一项活着。ȳ = 1 的样本只算 −ln y,ȳ = 0 的样本只算 −ln(1 − y)。手算时先看标签再动笔,能省一半力气,也不容易把符号写反。

以为 log 的底换了,最优解就跟着变

换底只是乘一个正的常数。整条损失曲线一起放大或缩小,最低点不挪位置。题目问「ln 换成 log₂ 会不会影响训练结果」,答不会。

试一下

答案 ȳ = 0,模型给出 y = 0.8。这次的交叉熵是多少?换成 y = 0.2 呢?

ȳ = 0 只罚 −ln(1 − y)。y = 0.8 时罚 −ln 0.2 ≈ 1.61;y = 0.2 时罚 −ln 0.8 ≈ 0.22。前者判错且很自信,罚得重得多。

把它们串起来

分类的标准答案变成了 one-hot 向量,模型输出跟着变成一组概率。二分类时只需要一个概率 y,表示「是 1」的可能性。

为了得到这个 y,逻辑回归保留线性回归的第一步 t = w’x + b,再套一层 sigmoid。sigmoid 把整条实数轴压进 (0, 1),又不改变次序,所以 t 越大越像 1。

有了概率,就用交叉熵打分:看模型给正确答案分了多少概率,罚它的负对数。猜对且自信,罚得少;猜错还自信,罚到天上去。

模型和损失都定下来了,求解方法照旧是梯度下降。下一页推梯度,再下一页回答课件那个大问号:为什么不能继续用平方差。

课件里的坑

  • [读图提醒] 开场的课程进度表是第一讲的原图直接复用,左上角还印着第一讲的章节号,看的是整学期节奏,不是这一讲的内容(p.2–3)。
  • [判断题素材] 交叉熵那一行的两个 ln 被标绿并注 logₑ or log₂。底数可以是 e 也可以是 2,换底只差一个常数因子(p.12)。
  • [读图提醒] 右上角的 sigmoid 小图只画了形状:t 趋于正无穷时贴近 1 的虚线、t = 0 时取 0.5,没有刻度,不要从图上读具体数值(p.12)。
  • [伏笔] 页面底部用橙色虚框圈住平方差损失并打了大问号,这个问题一直悬到 p.20 才收尾,答案见 L03a-3(p.12)。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写 sigmoid 和交叉熵两行公式;再在纸上画出 S 形曲线和 −ln y 曲线,各标三个点;然后过一遍两道课件例题;最后做变式题。

必背

  1. 分类的标准答案是 one-hot 向量、模型输出是一组概率,两边都是向量;类别总数和类别到 one-hot 的对应关系都预先定好。
  2. 逻辑回归 = 线性回归的第一步 t = w’x + b 加 sigmoid 再加交叉熵;t 叫 logit 或 pre-activation。
  3. sigmoid:y = σ(t) = 1 / (1 + exp(−t)),把任意实数压进 (0, 1);t = 0 时 y = 0.5,单调递增,不改变谁大谁小。
  4. 二分类交叉熵 L = −ȳ ln y − (1 − ȳ) ln(1 − y):ȳ = 1 时只剩 −ln y,ȳ = 0 时只剩 −ln(1 − y),给正确答案的概率越低罚得越重。
  5. 交叉熵里 log 取底 e 或 2 只差一个常数因子,不影响梯度方向和最优解位置。

课件例题

例 1(课件 p.8):分类任务的标准答案和模型输出各是什么形态?和回归相比,最根本的区别在哪?

提示

看课件左边的狗、猫、马三张图各对应什么,右边 f(x, W) 输出的又是什么;再回想上一讲回归的输出。

解答

分类的标准答案是 one-hot 向量(狗 [0 1 0]、猫 [1 0 0]、马 [0 0 1]),模型输出是一组概率(如 [0.7 0.2 0.1]),两边都是向量。回归的标准答案和输出都是一个数(标量)。输出形态从标量变成向量,是两者最根本的区别,损失函数也因此要换。课件底下还有两条前提:类别总数预先定好,类别与 one-hot 的对应关系预先定好。

例 2(课件 p.11–12):课件把线性回归和逻辑回归左右并排。逐行说出哪些没变、哪些变了。

左右两栏对照表,左栏 Linear Regression,右栏 Logistic Regression (Binary Classification)。第一行输入都是 0.2、1、10、−3,左边输出 0.4,右边输出 0 / 1;第二行两边都是 tⁿ = wᵀxⁿ + b,右边标 logit/pre-activation;第三行左边 yⁿ = tⁿ,右边 yⁿ = σ(tⁿ) = 1/(1+exp(−tⁿ)),旁边画着 sigmoid 曲线;第四行左边 L2 loss,右边交叉熵 loss,ln 标注可取 log_e 或 log_2;最后一行虚线框里是把 L2 loss 搬到右边并打了红色问号。
图片来源:COMP5541 L03_Logistic Regression and NBC.pptx, p.12
提示

按四行对照:输出、第一步、第二步、损失。

解答

输出:线性回归是任意实数(课件举 0.4),逻辑回归是 0 或 1。第一步:两边都是 tⁿ = w’xⁿ + b,完全相同。第二步:线性回归 yⁿ = tⁿ,逻辑回归 yⁿ = σ(tⁿ) = 1 / (1 + exp(−tⁿ))。损失:线性回归 L = 1/N Σ(ȳⁿ − yⁿ)²,逻辑回归 L = 1/N Σ[−ȳⁿ ln yⁿ − (1 − ȳⁿ) ln(1 − yⁿ)]。t 叫 logit 或 pre-activation;ln 的底取 e 或 2 都可以。

完整例题

题面:课件 p.14 给了四个一维训练样本,x = −1.2, −0.9, 0.8, 1.1,标签 ȳ = 0, 0, 1, 1。取 w = 1、b = 0(自设),对每个样本算出 t、y 和交叉熵,再求平均损失。

约定:σ(t) = 1 / (1 + e^(−t)),ln 取自然对数,结果保留四位小数。

解法:

  1. 先看标签分两组:前两个 ȳ = 0,只罚 −ln(1 − y);后两个 ȳ = 1,只罚 −ln y。
  2. x = −1.2:t = −1.2,y = σ(−1.2) ≈ 0.2315,L = −ln(1 − 0.2315) = −ln 0.7685 ≈ 0.2633。
  3. x = −0.9:t = −0.9,y ≈ 0.2891,L = −ln 0.7109 ≈ 0.3412。
  4. x = 0.8:t = 0.8,y ≈ 0.6900,L = −ln 0.6900 ≈ 0.3711。
  5. x = 1.1:t = 1.1,y ≈ 0.7503,L = −ln 0.7503 ≈ 0.2873。
  6. 平均:(0.2633 + 0.3412 + 0.3711 + 0.2873) / 4 = 1.2629 / 4 ≈ 0.3157。

要点:四个样本都判对了(负样本 y < 0.5,正样本 y > 0.5),但都不算很有把握,所以每个仍要罚一点。梯度下降接下来会把 w 推大,让正负两边分得更开。

答题格式:列一张表「x / ȳ / t / y / 保留哪一项 / L」,最后一行写平均损失。

变式题(先自己做)

改编自课件 p.14 的同一组数据。(1) 把参数换成 w = −1、b = 0,重新算四个样本的 y 和交叉熵,再求平均损失。(2) 和完整例题的结果比,哪组参数更好?为什么差这么多?

提示

w 变成负数,t 的符号全部翻过来。先判断每个样本是判对还是判错,再看罚款。

判分点与答案(非官方评分标准)

判分点:① 每个样本只保留一项交叉熵;② 平均损失算对;③ 能说出「四个都判错了,而且错得有把握」。

(1) x = −1.2:t = 1.2,y ≈ 0.7685,ȳ = 0,L = −ln 0.2315 ≈ 1.4633。x = −0.9:t = 0.9,y ≈ 0.7109,L = −ln 0.2891 ≈ 1.2412。x = 0.8:t = −0.8,y ≈ 0.3100,ȳ = 1,L = −ln 0.3100 ≈ 1.1711。x = 1.1:t = −1.1,y ≈ 0.2497,L = −ln 0.2497 ≈ 1.3873。平均 (1.4633 + 1.2412 + 1.1711 + 1.3873) / 4 ≈ 1.3157。

(2) w = 1 那组好,平均损失 0.3157 对 1.3157。w = −1 把方向弄反了,四个样本全判错;交叉熵对判错罚得重,每个样本的损失都超过 1。

闪卡自测

1. 分类和回归在输出形态上最根本的区别是什么?

回归的标准答案和输出都是标量;分类的标准答案是 one-hot 向量、输出是一组概率,两边都是向量(p.8)。

2. 类别总数和 one-hot 映射是训练时学出来的吗?

不是,两者都预先定好。训练中途冒出新类别不在这套设定里(p.8)。

3. 逻辑回归和线性回归哪一步完全相同?

第一步 t = w’x + b 完全相同;差别在第二步套不套 sigmoid,以及损失换不换(p.12)。

4. 写出 sigmoid。t 有哪两个名字?

σ(t) = 1 / (1 + exp(−t));t 叫 logit 或 pre-activation(p.12)。

5. σ(0) 等于多少?σ(t) 能不能等于 1?

σ(0) = 0.5;σ(t) 只会无限靠近 1,永远等不到(p.12)。

6. 套了 sigmoid 后,决策边界还是线性的吗?

还是。sigmoid 单调,不改变谁大谁小,分界处始终是 t = 0(p.12、p.22)。

7. ȳ = 1 和 ȳ = 0 时,交叉熵各只剩哪一项?

ȳ = 1 只剩 −ln y;ȳ = 0 只剩 −ln(1 − y)(p.12)。

8. 交叉熵里 ln 换成 log₂,最优解会变吗?

不会。换底只乘一个常数,梯度方向和最优解位置都不变(p.12)。

下一讲

模型和损失定好了,下一页用链式法则推出交叉熵的梯度,结果只有「预测误差 × 输入」这么短:L03a-2 交叉熵的梯度。

下一讲 →
L03a-2 L03a-2 交叉熵的梯度:三段相乘,约成「误差 × 输入」

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。