L03a 逻辑回归:给线性模型套一层 sigmoid
分类的答案从一个数变成一个标签。从零讲 one-hot、sigmoid 和交叉熵:线性那一步原样保留,后面接 sigmoid 压成概率,损失换成交叉熵。
一句话版
逻辑回归用来做分类。它把线性回归算出来的那个数 t 套进 sigmoid,压成 0 到 1 之间的概率;衡量错得多离谱的损失,从平方差换成交叉熵。
读之前最好先懂线性回归和梯度下降,见 L02a。这一页讲模型长什么样;梯度怎么推、为什么非用交叉熵,在后面三页。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 分类 | classification | 答案是有限几个标签里的一个,比如猫、狗、马 |
| one-hot | 独热编码 | 一串 0,只在正确类别的位置放一个 1 |
| σ(t)、sigmoid | 读「西格玛 t」,S 形函数 | 把任意实数压进 0 到 1 之间,当概率读 |
| logit / pre-activation | 读「逻辑特」/ 激活前的值 | 套 sigmoid 之前那个 t = w’x + b |
| 交叉熵 | cross-entropy | 分类用的损失:给正确答案的概率越低,罚得越重 |
| ln | 自然对数 | 以 e 为底的对数;ln 1 = 0,越靠近 0 越往负无穷掉 |
一个类比:中介 A 改做判断题
上一讲中介 A 在纸条上写 价格 = w × 面积 + b,输出一个金额。这一讲他接了个新活:只回答「这套房三十天内卖得掉吗」,答案要么是 0,要么是 1。
纸条的第一行不用改,t = w × 面积 + b 照写。麻烦在输出:这一行可能算出负数,也可能算出几百万,而答案只有两种。
于是 A 在后面接了一个 sigmoid,把任意实数压进 (0, 1),读成「卖得掉的概率」,0.5 就是分水岭。
第二个麻烦是怎么给错误打分。房子真卖掉了,A 说「卖得掉的概率九成」,该罚一点点;A 说「一成」,该狠狠地罚。交叉熵就是这样一张罚单。
类比在哪里失效:
- 真实的中介会看很多东西再拍脑袋。逻辑回归只会把特征加权求和,所以它画出来的分界永远是直的。
- 中介说「九成」可能只是口头禅。逻辑回归的输出经过训练校准,概率值本身有意义,这一点在本讲最后和朴素贝叶斯比较时会用上。
从零讲起
1. 分类:输出从一个数变成一组概率
它解决什么问题
上一讲的回归,标准答案是一个数,模型输出也是一个数,差多少一减就知道。分类的标准答案是一个标签,比如「狗」。标签没法直接和数相减,得先换一种写法,让答案和输出能放在一起比。
直觉
给每个类别排一个座位。三个类别就排三个座位:猫坐第 1 个,狗坐第 2 个,马坐第 3 个。标准答案是「狗」,就在第 2 个座位放 1,其余放 0,写成 [0 1 0]。
模型不必一口咬定。它可以在每个座位上放一个概率,比如 [0.7 0.2 0.1],意思是七成像猫、两成像狗、一成像马。三个数加起来是 1。
一步一步看
目标:用一张狗的照片对照标准答案和模型输出,看分类两边都是向量,回归两边都是一个数。
-
先定好有几个类别、各坐哪个座位。课件里是三类:狗 [0 1 0]、猫 [1 0 0]、马 [0 0 1]。
-
拿一张狗的照片,标准答案就写成 [0 1 0]。
-
模型看完照片,吐出一组概率 [0.7 0.2 0.1]。它最看好的是第 1 个座位,猫,判错了。
-
标准答案和模型输出都是长度为 3 的向量,可以逐位比较。上一讲的回归两边都是一个数(标量)。
怎么判断
拿到一道题,问两句:
- 标准答案是不是有限几个标签里的一个?是,就是分类;答案是一个连续的数,就是回归。
- 模型输出是一个数,还是每个类别各一个概率?分类模型的输出是一组概率,长度等于类别总数。
还有两条前提,课件写在角落里:类别总数是预先定好的,类别和 one-hot 向量的对应关系也是预先定好的。训练中途冒出一个新类别,不在这套设定里。
常见误解
以为分类就是回归后面加一个四舍五入
标签之间没有大小。猫记作 1、狗记作 2、马记作 3,再用回归去拟合,等于说「狗在猫和马中间」,这句话没有意义。one-hot 让每个类别各占一位,互相之间没有远近,才能和概率输出一位一位地比。
以为模型输出的概率里最大的那个一定对
最大的那个是模型的判断,对不对要看标准答案。上面那张狗的照片,模型最看好猫,就是判错了;损失函数的任务就是把这种错误量化成一个数。
试一下
四个类别:苹果、香蕉、橙、梨,按这个顺序排座位。一张橙子的照片,标准答案怎么写?模型输出 [0.1 0.1 0.6 0.2],判对了吗?
标准答案是 [0 0 1 0]。模型输出里最大的是第 3 位 0.6,对应橙,判对了。四个概率加起来 0.1 + 0.1 + 0.6 + 0.2 = 1。
2. sigmoid:把任意实数压成概率
它解决什么问题
先看最简单的二分类:答案只有 0 和 1。线性模型 t = w’x + b 算出来的 t 可以是任何实数,负一百也行,正一万也行。概率必须落在 0 到 1 之间。需要一个函数,把整条实数轴压进 (0, 1),同时保留「t 越大越像 1」这个次序。
从哪来(补充)
这条 S 形曲线比机器学习老得多。比利时数学家 Pierre François Verhulst 在 1838 到 1847 年间发表三篇论文,用它描述人口增长:一开始几乎按指数涨,资源吃紧后慢下来,最后贴着一个上限走平。他在 1844 年给它取名 logistic,没有解释为什么叫这个名字。
逻辑回归里的 logit 一词由 Joseph Berkson 在 1944 年造出,他也是这套方法的主要推广者。
出处:Wikipedia: Logistic function、Wikipedia: Logistic regression
直觉
想象一个调光旋钮。往左拧到底,灯几乎全灭,但永远不会彻底黑;往右拧到底,灯几乎全亮,但永远亮不过上限。正中间亮一半。
sigmoid 就是这个旋钮:t 是旋钮的位置,y 是亮度。t 很负时 y 贴着 0,t 很正时 y 贴着 1,t = 0 时 y 正好是 0.5。中间一段变化最快,两头越来越平。
一步一步看
目标:把 t = −2、0、2 代进 sigmoid,看任意实数怎样被压进 0 到 1,0 处正好是 0.5。
把三个 t 依次代进 σ(t) = 1 / (1 + e^(−t))。e 约等于 2.718。
-
t = −2:e^2 ≈ 7.389,y = 1 / (1 + 7.389) ≈ 0.12。点落在曲线左下方,贴近 0。
-
t = 0:e^0 = 1,y = 1 / (1 + 1) = 0.5。点落在正中间,这是分水岭。
-
t = 2:e^(−2) ≈ 0.135,y = 1 / (1 + 0.135) ≈ 0.88。点落在右上方,贴近 1。−2 和 2 对称,0.12 + 0.88 = 1。
怎么算
逻辑回归和线性回归,课件左右两列逐行对照:
| 线性回归 | 逻辑回归(二分类) | |
|---|---|---|
| 第一步 | tⁿ = w’xⁿ + b | tⁿ = w’xⁿ + b(完全相同) |
| 第二步 | yⁿ = tⁿ | yⁿ = σ(tⁿ) = 1 / (1 + exp(−tⁿ)) |
上标 n 表示第 n 个训练样本。意思是:第一步一字不改,照样把特征加权求和再加偏置;第二步多套一层 sigmoid,把 t 压成概率 y。
为什么 σ(t) 一定落在 (0, 1):exp(−t) 永远大于 0,所以分母 1 + exp(−t) 永远大于 1,倒数就落在 0 和 1 之间。t 越大,exp(−t) 越小,y 越靠近 1。
t 有两个名字,都要记:logit 和 pre-activation(激活前的值)。第二个名字是给下一讲铺路的。到那时每一层神经网络都有自己的 pre-activation,sigmoid 只是众多激活函数里的一个。
常见误解
以为套了 sigmoid 之后,模型的分界就变弯了
sigmoid 单调递增,只把实数轴压扁,不改变谁大谁小。y > 0.5 等价于 t > 0,分界处始终是 t = 0,也就是 w’x + b = 0 这条直线(高维时是平面)。决策边界那一页会把这件事画出来。
以为 t 很大时 y 会等于 1
只会无限靠近 1,永远到不了。这一点到算交叉熵时很重要:ln 0 没有定义,而 y 永远不会正好是 0 或 1,所以交叉熵永远算得出来。
试一下
w = 1、b = 0,输入 x = 0.8。t 是多少?y = σ(t) 大概是多少?模型更倾向判 0 还是判 1?
t = 1 × 0.8 + 0 = 0.8。e^(−0.8) ≈ 0.449,y = 1 / 1.449 ≈ 0.69。y > 0.5,倾向判 1。
3. 交叉熵:给分类的错误打分
它解决什么问题
模型输出了「是 1 的概率 y」,标准答案是 ȳ(读「y 拔」,0 或 1)。需要一个数来说明这次错得多离谱:猜对且有把握时罚得少,猜错还很有把握时罚得多。梯度下降靠这个数往下走。
直觉
只盯着一件事:模型给正确答案分了多少概率。
答案是 1 时,模型给「是 1」的概率是 y;答案是 0 时,给「是 0」的概率是 1 − y。把这个概率记作 p,罚 −ln p。
p = 1,罚 0,完全没错。p 往 0 掉,−ln p 往无穷大冲。错得越自信,罚得越狠,而且不是线性地加重。
一步一步看
目标:答案为 1 时让模型给出 0.9、0.5、0.1,看交叉熵对越自信的错罚得越重。
设答案 ȳ = 1,这时罚 −ln y。让模型给出三个不同的 y:
-
y = 0.9:模型九成把握判对,罚 −ln 0.9 ≈ 0.11,很轻。
-
y = 0.5:模型拿不准,罚 −ln 0.5 ≈ 0.69。
-
y = 0.1:模型九成把握判成 0,判错了,罚 −ln 0.1 ≈ 2.30。从 0.5 降到 0.1,概率只少了 0.4,罚款翻了三倍多。
ȳ = 0 的情况把曲线左右翻过来:罚 −ln(1 − y),y 越靠近 1 罚得越重。
怎么算
单个样本的交叉熵:
L = −ȳ ln y − (1 − ȳ) ln(1 − y)
意思是:ȳ 只能取 0 或 1,它在这里当开关。ȳ = 1 时第二项乘了 0,只剩 −ln y;ȳ = 0 时第一项乘了 0,只剩 −ln(1 − y)。一个式子盖住两种情况。
N 个样本取平均,就是课件那一行:
L = (1/N) Σ[−ȳⁿ ln yⁿ − (1 − ȳⁿ) ln(1 − yⁿ)]
意思是:每个样本各罚一次,加起来除以 N。对照线性回归的 L = (1/N) Σ(ȳⁿ − yⁿ)²,换掉的只有求和号里面那一项。
课件在两个 ln 旁边标了 logₑ or log₂,底数取 e 或 2 都行。换底公式 log₂ p = ln p / ln 2,ln 2 是一个固定的数,所以换底只是给整个损失乘一个常数。意思是:曲线被整体拉高或压低,最低点还在原来的位置,梯度方向也不变。
能不能沿用上一讲的平方差?课件在这一页底下打了一个大问号,答案在 L03a-3:不能。
常见误解
以为交叉熵的两项每次都要算
每个样本只有一项活着。ȳ = 1 的样本只算 −ln y,ȳ = 0 的样本只算 −ln(1 − y)。手算时先看标签再动笔,能省一半力气,也不容易把符号写反。
以为 log 的底换了,最优解就跟着变
换底只是乘一个正的常数。整条损失曲线一起放大或缩小,最低点不挪位置。题目问「ln 换成 log₂ 会不会影响训练结果」,答不会。
试一下
答案 ȳ = 0,模型给出 y = 0.8。这次的交叉熵是多少?换成 y = 0.2 呢?
ȳ = 0 只罚 −ln(1 − y)。y = 0.8 时罚 −ln 0.2 ≈ 1.61;y = 0.2 时罚 −ln 0.8 ≈ 0.22。前者判错且很自信,罚得重得多。
把它们串起来
分类的标准答案变成了 one-hot 向量,模型输出跟着变成一组概率。二分类时只需要一个概率 y,表示「是 1」的可能性。
为了得到这个 y,逻辑回归保留线性回归的第一步 t = w’x + b,再套一层 sigmoid。sigmoid 把整条实数轴压进 (0, 1),又不改变次序,所以 t 越大越像 1。
有了概率,就用交叉熵打分:看模型给正确答案分了多少概率,罚它的负对数。猜对且自信,罚得少;猜错还自信,罚到天上去。
模型和损失都定下来了,求解方法照旧是梯度下降。下一页推梯度,再下一页回答课件那个大问号:为什么不能继续用平方差。
课件里的坑
- [读图提醒] 开场的课程进度表是第一讲的原图直接复用,左上角还印着第一讲的章节号,看的是整学期节奏,不是这一讲的内容(p.2–3)。
- [判断题素材] 交叉熵那一行的两个 ln 被标绿并注
logₑ or log₂。底数可以是 e 也可以是 2,换底只差一个常数因子(p.12)。 - [读图提醒] 右上角的 sigmoid 小图只画了形状:t 趋于正无穷时贴近 1 的虚线、t = 0 时取 0.5,没有刻度,不要从图上读具体数值(p.12)。
- [伏笔] 页面底部用橙色虚框圈住平方差损失并打了大问号,这个问题一直悬到 p.20 才收尾,答案见 L03a-3(p.12)。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写 sigmoid 和交叉熵两行公式;再在纸上画出 S 形曲线和 −ln y 曲线,各标三个点;然后过一遍两道课件例题;最后做变式题。
必背
- 分类的标准答案是 one-hot 向量、模型输出是一组概率,两边都是向量;类别总数和类别到 one-hot 的对应关系都预先定好。
- 逻辑回归 = 线性回归的第一步 t = w’x + b 加 sigmoid 再加交叉熵;t 叫 logit 或 pre-activation。
- sigmoid:y = σ(t) = 1 / (1 + exp(−t)),把任意实数压进 (0, 1);t = 0 时 y = 0.5,单调递增,不改变谁大谁小。
- 二分类交叉熵 L = −ȳ ln y − (1 − ȳ) ln(1 − y):ȳ = 1 时只剩 −ln y,ȳ = 0 时只剩 −ln(1 − y),给正确答案的概率越低罚得越重。
- 交叉熵里 log 取底 e 或 2 只差一个常数因子,不影响梯度方向和最优解位置。
课件例题
例 1(课件 p.8):分类任务的标准答案和模型输出各是什么形态?和回归相比,最根本的区别在哪?
提示
看课件左边的狗、猫、马三张图各对应什么,右边 f(x, W) 输出的又是什么;再回想上一讲回归的输出。
解答
分类的标准答案是 one-hot 向量(狗 [0 1 0]、猫 [1 0 0]、马 [0 0 1]),模型输出是一组概率(如 [0.7 0.2 0.1]),两边都是向量。回归的标准答案和输出都是一个数(标量)。输出形态从标量变成向量,是两者最根本的区别,损失函数也因此要换。课件底下还有两条前提:类别总数预先定好,类别与 one-hot 的对应关系预先定好。
例 2(课件 p.11–12):课件把线性回归和逻辑回归左右并排。逐行说出哪些没变、哪些变了。
提示
按四行对照:输出、第一步、第二步、损失。
解答
输出:线性回归是任意实数(课件举 0.4),逻辑回归是 0 或 1。第一步:两边都是 tⁿ = w’xⁿ + b,完全相同。第二步:线性回归 yⁿ = tⁿ,逻辑回归 yⁿ = σ(tⁿ) = 1 / (1 + exp(−tⁿ))。损失:线性回归 L = 1/N Σ(ȳⁿ − yⁿ)²,逻辑回归 L = 1/N Σ[−ȳⁿ ln yⁿ − (1 − ȳⁿ) ln(1 − yⁿ)]。t 叫 logit 或 pre-activation;ln 的底取 e 或 2 都可以。
完整例题
题面:课件 p.14 给了四个一维训练样本,x = −1.2, −0.9, 0.8, 1.1,标签 ȳ = 0, 0, 1, 1。取 w = 1、b = 0(自设),对每个样本算出 t、y 和交叉熵,再求平均损失。
约定:σ(t) = 1 / (1 + e^(−t)),ln 取自然对数,结果保留四位小数。
解法:
- 先看标签分两组:前两个 ȳ = 0,只罚 −ln(1 − y);后两个 ȳ = 1,只罚 −ln y。
- x = −1.2:t = −1.2,y = σ(−1.2) ≈ 0.2315,L = −ln(1 − 0.2315) = −ln 0.7685 ≈ 0.2633。
- x = −0.9:t = −0.9,y ≈ 0.2891,L = −ln 0.7109 ≈ 0.3412。
- x = 0.8:t = 0.8,y ≈ 0.6900,L = −ln 0.6900 ≈ 0.3711。
- x = 1.1:t = 1.1,y ≈ 0.7503,L = −ln 0.7503 ≈ 0.2873。
- 平均:(0.2633 + 0.3412 + 0.3711 + 0.2873) / 4 = 1.2629 / 4 ≈ 0.3157。
要点:四个样本都判对了(负样本 y < 0.5,正样本 y > 0.5),但都不算很有把握,所以每个仍要罚一点。梯度下降接下来会把 w 推大,让正负两边分得更开。
答题格式:列一张表「x / ȳ / t / y / 保留哪一项 / L」,最后一行写平均损失。
变式题(先自己做)
改编自课件 p.14 的同一组数据。(1) 把参数换成 w = −1、b = 0,重新算四个样本的 y 和交叉熵,再求平均损失。(2) 和完整例题的结果比,哪组参数更好?为什么差这么多?
提示
w 变成负数,t 的符号全部翻过来。先判断每个样本是判对还是判错,再看罚款。
判分点与答案(非官方评分标准)
判分点:① 每个样本只保留一项交叉熵;② 平均损失算对;③ 能说出「四个都判错了,而且错得有把握」。
(1) x = −1.2:t = 1.2,y ≈ 0.7685,ȳ = 0,L = −ln 0.2315 ≈ 1.4633。x = −0.9:t = 0.9,y ≈ 0.7109,L = −ln 0.2891 ≈ 1.2412。x = 0.8:t = −0.8,y ≈ 0.3100,ȳ = 1,L = −ln 0.3100 ≈ 1.1711。x = 1.1:t = −1.1,y ≈ 0.2497,L = −ln 0.2497 ≈ 1.3873。平均 (1.4633 + 1.2412 + 1.1711 + 1.3873) / 4 ≈ 1.3157。
(2) w = 1 那组好,平均损失 0.3157 对 1.3157。w = −1 把方向弄反了,四个样本全判错;交叉熵对判错罚得重,每个样本的损失都超过 1。
闪卡自测
1. 分类和回归在输出形态上最根本的区别是什么?
回归的标准答案和输出都是标量;分类的标准答案是 one-hot 向量、输出是一组概率,两边都是向量(p.8)。
2. 类别总数和 one-hot 映射是训练时学出来的吗?
不是,两者都预先定好。训练中途冒出新类别不在这套设定里(p.8)。
3. 逻辑回归和线性回归哪一步完全相同?
第一步 t = w’x + b 完全相同;差别在第二步套不套 sigmoid,以及损失换不换(p.12)。
4. 写出 sigmoid。t 有哪两个名字?
σ(t) = 1 / (1 + exp(−t));t 叫 logit 或 pre-activation(p.12)。
5. σ(0) 等于多少?σ(t) 能不能等于 1?
σ(0) = 0.5;σ(t) 只会无限靠近 1,永远等不到(p.12)。
6. 套了 sigmoid 后,决策边界还是线性的吗?
还是。sigmoid 单调,不改变谁大谁小,分界处始终是 t = 0(p.12、p.22)。
7. ȳ = 1 和 ȳ = 0 时,交叉熵各只剩哪一项?
ȳ = 1 只剩 −ln y;ȳ = 0 只剩 −ln(1 − y)(p.12)。
8. 交叉熵里 ln 换成 log₂,最优解会变吗?
不会。换底只乘一个常数,梯度方向和最优解位置都不变(p.12)。
下一讲
模型和损失定好了,下一页用链式法则推出交叉熵的梯度,结果只有「预测误差 × 输入」这么短:L03a-2 交叉熵的梯度。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。