← COMP5541 全部讲次
L03b-2 · 第 4 周

L03b-2 逻辑回归与朴素贝叶斯:各赢在哪,各通向哪

把两种分类器的假设、关键步骤并排放,逐条看逻辑回归的三条优点和朴素贝叶斯的四条优点,缺特征、加类别时谁更好办,最后看两条路分别通向课程的哪一半。

一句话版

逻辑回归和朴素贝叶斯都能分类,强项不一样。逻辑回归赢在准确率和灵活性:能做特征预处理,输出的概率可以当真。朴素贝叶斯赢在训练成本和鲁棒性:不用优化,缺个特征、加个类别都好办。两条路还分别通向课程的后半程:逻辑回归是一个神经元,通向深度学习;朴素贝叶斯学的是分布,通向表示学习。

两种方法本身见 L03a 和 L03b。

先认识这几个词

词 全称 / 读法 一句人话
概率校准 calibration 模型说 0.8 的那些样本,真有大约八成是对的
特征预处理 feature preprocessing 用原始特征造新特征再喂给模型,比如加上 x²
基展开 basis expansion 把 x 换成 (x, x², …) 这样一组函数值
缺失特征 missing input feature 测试样本某一维没有观测到
无标签数据 unlabelled data 只有特征、没有标准答案的样本
表示学习 representation learning 让模型自己学出描述数据的好特征

一个类比:两种医生

一位专科医生只看几项关键指标,就能判断是不是某种病。他判得准,说「八成是」的时候确实八成是。可要培养他得花很长时间;病人少测了一项指标,他就不敢下结论;医院新增一个病种,他得重新进修整套知识。

一位全科医生给每种病建了一份档案:这种病的人通常体温多少、血压多少、多常见。来一个病人就逐份对照。档案靠统计病例就能建好;少测一项指标,就跳过那一栏照样对照;新增一个病种,只要新建一份档案,旧的不动。他排出的「最可能的病」通常没错,嘴上说的把握却常常偏满。

逻辑回归像专科医生,朴素贝叶斯像全科医生。

类比在哪里失效:

  • 全科医生能察觉指标之间的关联,朴素贝叶斯不能,它假设各项指标在每种病里互不相关。
  • 专科医生缺了指标还能凭经验估一个;逻辑回归没有这个本事,w’x 少一维就是算不下去。

从零讲起

1. 两种方法的假设与关键步骤

它解决什么问题

比较两种方法,先要把它们放在同一张表上:各自假设了什么,训练的核心一步是什么。优点和局限都是从这两样推出来的。

直觉

逻辑回归只做了一个假设:两类之间的分界是一个超平面。为了找到最好的那个超平面,它要跑梯度下降,一轮轮调参数。

朴素贝叶斯做了两个假设:特征在每一类里互相独立,实值特征在每一类里服从高斯。有了这两个假设,参数全都能直接数出来,不用迭代。

一步一步看

目标:按建什么、假设什么、怎么训练、学几套参数四步对照 LR 和 NBC,看两者每一步差在哪。

按「建什么 → 假设什么 → 怎么训练 → 学到几套参数」四步对照。

  1. 建模对象:LR 建 P(y|x),判别式;NBC 建 P(x|y) 与 P(y),生成式。

  2. 假设:LR 假设决策边界线性;NBC 假设特征类内条件独立,实值特征类内高斯。

  3. 关键步骤:LR 用梯度下降最小化交叉熵;NBC 数数与求均值方差。

  4. 参数:LR 一套 w、b;NBC 先验参数 π 加条件分布参数 θ。

    逻辑回归 LR 朴素贝叶斯 NBC
    建模对象 P(y|x),判别式 P(x|y) 与 P(y),生成式
    假设 决策边界是线性的 特征类内条件独立;实值特征类内高斯
    关键步骤 梯度下降最小化交叉熵 数数与求均值方差
    参数 一套 w, b 先验 π + 条件分布 θ

怎么判断

拿到一个场景,先问两件事:

  1. 它的假设在这个场景里大致成不成立?特征明显强相关,NBC 的独立性假设就偏得厉害;两类明显不能用直线分开,LR 的线性假设就不够。
  2. 它的关键步骤在这个场景里贵不贵?数据量大、需要频繁重训时,梯度下降的成本就是 LR 的负担;NBC 只要数一遍。

意思是:优点和局限都是从「假设」和「关键步骤」两行推出来的,记住这张表,后面两个概念的七条优点都能自己推回来。

常见误解

以为逻辑回归没有假设

它假设决策边界是线性的。这条假设藏在 t = w’x + b 里,异或这类数据就是它的反例。

以为 NBC 也要跑梯度下降

NBC 的参数全是数出来的:先验是计数比例,条件分布是类内比例或类内均值方差,没有迭代。

试一下

一份数据有两个特征:身高和体重,两者明显一起涨。哪种方法的哪条假设会偏得更厉害?

NBC 的「特征类内条件独立」。身高和体重高度相关,连乘时同一份信息会被算两次,概率值更走极端。

2. 逻辑回归的三条优点

它解决什么问题

判别式少学了「x 本身长什么样」这一块,这省下来的力气用到了哪里?三条优点回答这个问题。

从哪来(补充)

朴素贝叶斯只要正确类别的概率排在最前就能判对,哪怕概率值本身离谱;它常给出过度自信的概率,量化不确定性不如逻辑回归。

出处:Wikipedia: Naive Bayes classifier

直觉

第一条,准确率。p(y|x) 只描述分界,p(y, x) 还要描述特征自己的分布,后者难得多。判别式把力气全用在分界上,通常判得更准。

第二条,特征预处理。逻辑回归不在乎特征是原始的还是造出来的,往 x 里加 x²、x³ 照样训练。这样还能绕开「边界只能是直线」的限制。

第三条,概率校准。逻辑回归直接优化交叉熵,输出的概率值大体可信;NBC 的连乘让概率走极端。

一步一步看

目标:给一维数据加一个特征 x²,看逻辑回归的直线边界映射回 x 轴后怎样分开中间和两头。

用一个一维例子看基展开怎么让边界变弯。数据:|x| > 1 的点属于类 1,|x| < 1 的属于类 0。

  1. 原始特征只有 x。任何 w·x + b = 0 都只切出一个点,一边类 0 一边类 1,分不出「两头是类 1、中间是类 0」。

  2. 造一个新特征 x²,把输入换成 (x, x²)。

  3. 取 w = (0, 1)、b = −1,t = x² − 1。在 (x, x²) 平面上,x² − 1 = 0 是一条直线。

  4. 映射回原来的 x 轴,x² = 1 对应 x = −1 和 x = 1 两个点,正好把中间和两头分开。

    原始 x 新特征 x² t = x² − 1 判
    −2 4 3 类 1
    −0.5 0.25 −0.75 类 0
    0.5 0.25 −0.75 类 0
    2 4 3 类 1

怎么判断

三条优点分别对应一句话,判断题常改其中一个词:

  • Better Predictive Accuracy:条件分布 p(y|x) 比联合分布 p(y, x) 容易学
  • Can Handle Feature Preprocessing:可以做多项式基展开等特征预处理,NBC 里造新特征很麻烦
  • Well-calibrated Probabilities:NBC 的强独立性假设让概率值走极端,LR 不会

意思是:前两条来自「判别式只学分界」,第三条来自「NBC 的连乘」。基展开那条要多记一层:在展开后的特征空间里边界是线性的,映射回原空间就是曲面。

常见误解

以为逻辑回归的边界永远是直线,没法处理弯的分界

在原始特征上是直线。做了基展开以后,展开空间里仍是线性的,回到原空间就是曲线或曲面。

以为 NBC 输出的概率接近 1,就说明它非常有把握

NBC 的概率值常常过度自信,排序可信、数值不可信。要拿概率做决策,逻辑回归的输出更可靠。

试一下

二维数据,类 1 落在以原点为圆心、半径 2 的圆外,类 0 在圆内。给逻辑回归造什么特征、取什么参数,边界正好是这个圆?

造 x₁² 和 x₂²,取 w = (1, 1)、b = −4。t = x₁² + x₂² − 4,t = 0 就是半径 2 的圆。

3. 朴素贝叶斯的四条优点

它解决什么问题

生成式多学了「每一类长什么样」,这多付的代价换来了什么?四条优点回答这个问题,其中两条在实际部署里很常用:缺特征和加类别。

直觉

NBC 每一类有自己的一份档案,档案里每个特征是独立的一栏。

  • 档案靠数数建好,不用优化
  • 少了某个特征,就跳过那一栏,其余照乘
  • 新增一类,只要新建一份档案,旧档案不动
  • 档案描述的是数据本身的分布,没有标签也能估,所以能用在无标签数据上

一步一步看

目标:用 10 个样本的计数表试缺特征和加类别,看 NBC 照算或只补新类,LR 却算不下去或要重跑。

用 L03b 那张 10 个样本的计数表,看缺特征和加类别两种情况。

  1. 缺特征:新样本 a = A1,b 没观测到。NBC 在连乘里跳过 b 那一项:c1 是 0.6 × 4/6 = 0.4,c2 是 0.4 × 1/4 = 0.1,仍判 c1。

    测试样本缺了特征 x₂ 时两种方法的对比:左边 NBC 在连乘 p(y)·p(x₁|y)·p(x₂|y)·p(x₃|y) 里把 p(x₂|y) 划掉,其余照乘照样比大小;右边 LR 的 t 等于 w₁x₁ 加 w₂ 乘问号加 w₃x₃ 加 b,x₂ 不知道 t 就没法算

  2. LR 遇到同样的样本:t = w_a·a + w_b·b + c 里 b 是空的,算不下去,只能先想办法补一个值。

  3. 加类别:训练集新增类别 c3。NBC 只要在 c3 的样本里数 A1、B1 的比例;c1、c2 的条件概率一个都不动。

  4. 先验要重数:总样本数 N 变了,三类的先验都按新的 N 重新算一遍。LR 则要带上 c3 整体重跑梯度下降。

    新增类别 c3 时两种方法的对比:左边 NBC 列出 c1、c2 的条件分布标注不动,c3 的条件分布标注新估;右边 LR 写所有类共用一次优化,加一类要重跑梯度下降;底部注明 NBC 的先验分母 N 变了要按新总数重数

怎么判断

四条优点的英文原句:

  • Easy to Fit:数数和求平均,不需要迭代优化
  • Can Handle Missing Input Features:缺失的特征在连乘式里跳过即可
  • Can Fit Classes Separately:每个类别的参数独立估计,新增类别只要拟合新类
  • Can be Used for Unlabelled Training Data:适用于半监督和无监督学习

意思是:四条都来自同一个结构,每个类别、每个特征各是连乘里独立的一个因子。因子独立,就能单独数、单独跳、单独加。

和逻辑回归那三条并排记:LR 赢在准确率和灵活性,NBC 赢在成本和鲁棒性。代价是 NBC 因连乘小概率导致输出走极端,排序可信、数值不可信。

常见误解

以为加一个新类别,NBC 什么都不用重算

条件分布不用重算,先验要重算。先验的分母是全部样本数,加了新类的样本,N 就变了。

以为缺一个特征时 LR 也能照常预测

不能。LR 的 w’x 少一维就算不下去。NBC 能跳过,是因为每个特征在连乘里是一个独立的因子。

试一下

在 L03b 的计数表上,新样本 b = B1,a 缺失。NBC 判哪类?

跳过 a:c1 是 0.6 × 3/6 = 0.3,c2 是 0.4 × 3/4 = 0.3。两类分数相等,打平。只看 b = B1 区分不了这两类。

4. 两条路的去向

它解决什么问题

这一讲学的两种方法,在整门课里各自往哪里走?知道这张地图,后面每讲完一个模型,都能放回对应的位置。

直觉

把逻辑回归画出来:输入 x₁、x₂、……,各乘一个权重,加起来,再过 sigmoid,得到输出 y。这就是一个神经元。把很多个神经元排成层、再一层层叠起来,就是神经网络。

朴素贝叶斯学的是每一类数据的分布。顺着「学数据本身长什么样」这条思路往下走,就是让模型自己学出描述数据的好特征,也就是表示学习。

一步一步看

目标:把逻辑回归和朴素贝叶斯各往后推一步,看它们分别通向神经网络和学分布的表示学习。

  1. 逻辑回归 = 一个神经元:Σ wᵢxᵢ 再过 σ。

  2. 堆多个神经元、加隐藏层,得到多层神经网络,这是下一讲起到 L08 的内容。sigmoid、交叉熵、链式法则梯度会原样复用。

  3. 朴素贝叶斯 = 每一类一个分布:课件把它画成叠在数据点云上的三个高斯曲面。

  4. 顺着学分布的思路走,到 L09–L11 是表示学习:autoencoder、VAE、GAN 与对比学习。

    两条路通向课程的两半:左列逻辑回归(判别式)画成一个神经元 Σ 再过 σ,箭头指向深度学习 L04 到 L08;右列朴素贝叶斯(生成式)学每一类的分布,箭头指向表示学习 L09 到 L11

怎么判断

y = σ(Σᵢ wᵢ xᵢ + b)

意思是:这既是逻辑回归的模型,也是一个神经元的计算。下一讲的每个隐藏单元都长这样,区别只是很多个排在一起、一层接一层。

后面遇到一个新方法,判断它落在哪一边:

  • 它直接学输入到输出的映射、靠梯度下降训练,属于左边这条线
  • 它在学数据本身的分布或表示,属于右边这条线

意思是:判别式和生成式的分界,延伸成了整门课的两半。

常见误解

以为逻辑回归和神经网络是两种不相干的方法

逻辑回归就是单个神经元。下一讲把它堆成多层,唯一新增的是梯度怎么在层与层之间往回传。

以为朴素贝叶斯学完就没用了

它代表的「学数据分布」这条思路,是课程后半程表示学习的起点。

试一下

一个神经元输入 x = (1, 2),权重 w = (0.5, −0.5),b = 0.5,激活函数 sigmoid。输出是多少?这和逻辑回归的哪一步一样?

t = 0.5 × 1 − 0.5 × 2 + 0.5 = 0,y = σ(0) = 0.5。就是逻辑回归的前向:先算 t = w’x + b,再过 sigmoid。

把它们串起来

比较两种方法,先看假设和关键步骤。逻辑回归假设边界线性,靠梯度下降找边界;朴素贝叶斯假设特征类内独立、实值特征类内高斯,靠数数估参数。

逻辑回归只学分界,力气花在刀刃上,所以准确率通常更高;特征可以随便造,基展开还能把直线边界变成曲线;输出的概率也可以当真。

朴素贝叶斯每一类、每个特征都是连乘里独立的一个因子。因子独立,就能直接数出来,缺了能跳,加类能单独补,没有标签也能估分布。代价是连乘让概率走极端,排序可信、数值不可信。

两条路分别通向课程的两半。逻辑回归是一个神经元,下一讲把它堆成多层网络;朴素贝叶斯学分布,到课程后段接上表示学习。

课件里的坑

  • [只有问题] p.29 只列了四个问题 Assumptions? / Key step? / Advantages? / Limitations?,不给答案。答案要从前面的内容和 p.30–31 自己拼(p.29)。
  • [跨页解释] p.30 第三条 Well-calibrated Probabilities 只说 NBC 概率走极端,原因在 p.27:连乘很多个小于 1 的概率,归一化后逼近 0 或 1(p.30)。
  • [无内容页] p.33 是课堂 Demo 的分隔页,代码在课上现场跑,没有讲义内容(p.33)。
  • [读图提醒] p.32 左半边的单神经元图和右半边的三个高斯曲面没有公式,信息全在两个红箭头指向的去向上(p.32)。

课后 10 分钟:考点复习

这 10 分钟怎么用:先把「假设 / 关键步骤」那张表默写出来;再把七条优点按 LR 三条、NBC 四条写成英文原句;最后做完整例题和变式题的判断。

必背

  1. LR 的假设是决策边界线性,关键步骤是用梯度下降最小化交叉熵;NBC 的假设是特征类内条件独立加实值特征类内高斯,关键步骤是数数与求均值方差。
  2. LR 优点:准确率更高、可做特征预处理、概率校准好;NBC 优点:不需优化、能处理缺失特征、可按类别单独拟合、可用于无标签数据。
  3. NBC 因连乘小概率导致输出走极端,排序可信、数值不可信。
  4. 特征预处理(如多项式基展开)能绕开「决策边界只能是线性」的限制:在展开后的特征空间里是线性的,映射回原空间就是曲面。
  5. 缺失特征时 NBC 把连乘里那一项跳过即可,LR 的 w’x 少一维就算不下去;新增类别时 NBC 只拟合新类,LR 要整体重训。
  6. 逻辑回归就是单个神经元,堆起来通向深度学习(L04–L08);NBC 学数据分布,通向表示学习(L09–L11)。

课件例题

例 1(课件 p.29):LR 与 NBC 各自的假设、关键步骤、优点、局限是什么?

提示

先写两行:假设、关键步骤。优点和局限都能从这两行推出来,再对照 p.30–31 的七条。

解答

假设:LR 假设决策边界是线性的;NBC 假设特征类内条件独立,实值特征还假设类内高斯。关键步骤:LR 用梯度下降最小化交叉熵;NBC 数数和求均值方差。优点与局限按 p.30–31 对照:LR 准确率更高、能做特征预处理、概率校准好,但要迭代优化、缺特征就算不下去;NBC 不需优化、能处理缺失特征、可按类别单独拟合、可用于无标签数据,但独立性假设让概率值走极端。

例 2(课件 p.30–31):分别列出逻辑回归和朴素贝叶斯的优点,并说明每条的原因。

提示

LR 三条来自「判别式只学分界」;NBC 四条来自「每个特征是连乘里独立的因子」。

解答

LR:① Better Predictive Accuracy,条件分布 p(y|x) 比联合分布 p(y, x) 容易学;② Can Handle Feature Preprocessing,可以做多项式基展开,NBC 里造新特征很麻烦;③ Well-calibrated Probabilities,NBC 的强独立性假设让概率走极端。NBC:① Easy to Fit,数数和求平均,不需迭代优化;② Can Handle Missing Input Features,缺失特征在连乘里跳过;③ Can Fit Classes Separately,新增类别只拟合新类;④ Can be Used for Unlabelled Training Data,适用于半监督和无监督学习。

完整例题

题面(自编情境,沿用 L03b 完整例题的训练集):10 个样本,c1 有 6 个、c2 有 4 个;c1 里 a = A1 有 4 个、b = B1 有 3 个;c2 里 a = A1 有 1 个、b = B1 有 3 个。(a)新样本 a = A1、b 缺失,NBC 怎么判?报出归一化概率。(b)训练集再加入 5 个 c3 样本,其中 a = A1 有 2 个、b = B1 有 1 个。哪些数要重新算?新的先验是多少?

约定:概率保留三位小数;特征类内独立。

解法:

  1. (a)跳过 b 那一项。c1:0.6 × 4/6 = 0.4;c2:0.4 × 1/4 = 0.1。判 c1。
  2. (a)归一化:0.4/(0.4 + 0.1) = 0.8,c2 为 0.2。
  3. (b)条件概率:c1、c2 的 p(A1|·)、p(B1|·) 不动;只新估 c3 的 p(A1|c3) = 2/5,p(B1|c3) = 1/5。
  4. (b)先验:N 从 10 变成 15,三类都重数。p(c1) = 6/15 = 0.4,p(c2) = 4/15 ≈ 0.267,p(c3) = 5/15 ≈ 0.333。

要点:缺特征时少乘一项即可;加类别时条件分布只补新类,先验因为 N 变了要全部重算。

答题格式:(a)写出跳过哪一项、两类分数、判类、归一化;(b)分「不动的 / 新估的 / 重算的」三行写。

变式题(先自己做)

自编情境。判断下列说法对错,错的改正:(1)逻辑回归的决策边界在任何情况下都只能是直线。(2)NBC 输出的概率值接近 1,说明这个判断很可靠。(3)NBC 新增一个类别时,先验和条件分布都不用改。(4)测试样本缺了一个特征,逻辑回归照样能算 w’x。(5)逻辑回归可以看作单个神经元。

提示

每条对照一条优点或一条局限:基展开、概率校准、按类单独拟合、缺失特征、单神经元。

判分点与答案(非官方评分标准)

判分点:每条判对给分,错的那几条要写出改正理由。

(1)错。原始特征上是直线;做基展开后,展开空间里线性,原空间里是曲线或曲面。

(2)错。NBC 因连乘让概率走极端,排序可信、数值不可信。

(3)错。条件分布只要估新类,原有类不动;先验的分母 N 变了,要按新总数重数。

(4)错。w’x 少一维算不下去,NBC 才能跳过那一项。

(5)对。Σ wᵢxᵢ + b 再过 sigmoid,就是一个神经元,堆起来是深度学习。

闪卡自测

1. LR 和 NBC 的假设各是什么?

LR:决策边界线性;NBC:特征类内条件独立,实值特征类内高斯(p.29)。

2. LR 和 NBC 的关键步骤各是什么?

LR:梯度下降最小化交叉熵;NBC:数数与求均值方差(p.29)。

3. LR 的三条优点是什么?

Better Predictive Accuracy、Can Handle Feature Preprocessing、Well-calibrated Probabilities(p.30)。

4. 为什么基展开能绕开线性边界的限制?

展开后的特征空间里边界仍是线性的,映射回原空间就是曲面(p.30)。

5. NBC 的四条优点是什么?

Easy to Fit、Can Handle Missing Input Features、Can Fit Classes Separately、Can be Used for Unlabelled Training Data(p.31)。

6. 缺失特征时两种方法各怎么办?

NBC 在连乘里跳过那一项;LR 的 w’x 少一维算不下去(p.31)。

7. 为什么说 NBC 的概率值不能当真?

连乘小概率导致输出走极端,排序可信、数值不可信(p.30)。

8. 两条路分别通向课程的哪一半?

LR 是单个神经元,通向深度学习;NBC 学分布,通向表示学习(p.32)。

下一讲

把逻辑回归这个神经元排成层、叠起来,就能分开异或这种一条直线分不开的数据:L04a 异或与隐藏层。

下一讲 →
L04a L04a 隐藏层:一条直线分不开 XOR,就先造新特征

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。