R04
Midterm 复习资料|神经网络与 L08 附节
前向传播、softmax 与交叉熵、反向传播、PyTorch 概念点、CNN 尺寸与参数、RNN 与 LSTM,以及 Lecture 8 精简速记(范围存疑)。
手机上宽表格可左右滑动;自测答案默认收起,点击题目下方按钮查看。
声音太少?
使用边界:2026-11-04 课堂期中复习,非官方材料;考试安排按讲师通知整理,正式要求以讲师通知和课堂公告为准。主体覆盖 L01–L07、Tutorial 1–5 与 Assignment 1;通知列出的课件只到 Lecture 7,L08 放在第 08 节作范围存疑附节。练习题均为自拟,不是往年真题或预测卷。
复习资料:范围与搜索 · 概率与逻辑 · 机器学习与聚类 · 神经网络与 L08 附节
先做题再看解析:A 搜索 · B 概率 · C 逻辑 · D 机器学习 · E 聚类与神经网络 · F 论文与 PyTorch
06|神经网络:从逻辑回归到反向传播
必须会算的
- 📌 sigmoid:σ(z) = 1/(1 + e⁻ᶻ),σ(0) = 0.5,斜率最大 0.25(L06 p.18–20)。
- 📌 前向传播:aⱼ = Σ αⱼᵢxᵢ → zⱼ = σ(aⱼ) → b = Σ βⱼzⱼ → y = σ(b),下标 0 对应偏置。课件 Titanic 输出层 σ(.5 × .4 + .8 × .2) = σ(0.36) = 0.589 ≈ 0.6(L06 p.22–25、p.28)。
- 📌 softmax:yₖ = exp(bₖ)/Σₗ exp(bₗ),输出为正且和为 1;交叉熵 J = −Σₖ yₖ* log yₖ(L06 p.30)。
- 📌 SGD 一步:θ⁽ᵗ⁺¹⁾ = θ⁽ᵗ⁾ − η_t ∇ℓ(f_θ(xᵢ), yᵢ),每次只用一个样本(L06 p.15)。
- 📌 sigmoid 配交叉熵时 dJ/dθⱼ = (y − y*)xⱼ;网络里 dJ/dβⱼ = (dJ/db)zⱼ,dJ/dαⱼᵢ = (dJ/daⱼ)xᵢ(L06 p.47–48)。
- 📌 张量形状(概念题,不写代码):三个 4×4 张量沿 dim = 1,cat 得 4×12,stack 新增一维得 4×3×4;
*是逐元素乘,@是矩阵乘(T03 张量节)。 - 📌 手算 autograd:Q = 3a³ − b²,∂Q/∂a = 9a²、∂Q/∂b = −2b;a = [2, 3]、b = [6, 4] 时梯度为 [36, 81] 和 [−12, −8](T03 autograd 节)。
必须会用英文说清的
- 📌 Deep learning uses multiple layers of nonlinear processing; “deep” refers to the number of hidden layers, and the features are learned automatically instead of being hand-designed.(L01 p.40、p.47–48;L06 p.7)
- 📌 A discriminative model learns p(y|x), e.g. logistic regression; a generative model learns p(x, y), e.g. naive Bayes.(L06 p.12)
- 📌 Logistic regression is a single neuron; a neural network combines several logistic regressions in hidden layers.(L06 p.18、p.22–25)
- 📌 Backpropagation applies the chain rule layer by layer in the reverse direction of the forward pass.(L06 p.47)
- 📌 Sigmoid saturates at both ends, which makes deep networks hard to train; ReLU = max(0, z) has derivative 1 on the positive side.(L06 p.38–41)
成立条件和常见误区
- 交叉熵要带负号;课件 p.30、p.43、p.47、p.48 的原式漏了负号(L06 注解)。
- 对输入 xᵢ 的梯度要对所有隐藏节点 j 求和:dJ/dxᵢ = Σⱼ(dJ/daⱼ)αⱼᵢ,课件最后一行求和位置写错(L06 p.48)。
- Titanic 图里隐藏层的 .4、.2 无法从输入和图中权重算出,课件只把它当示意;计算按输出层给定值来做(L06 p.22 注解)。
- 回归用平方损失、分类用交叉熵,都用梯度下降最小化(L06 p.43)。tanh 值域 [−1, 1];Leaky ReLU = max(0.1z, z)(L06 p.38、p.40–41)。
- 去掉非线性后,多层线性网络叠起来等价于一层(L01 p.40 注解)。
- 训练循环顺序:清零梯度 → 前向 → 算损失 → 反向 → 更新参数。梯度默认累加,不清零时第二次反向得到两倍梯度;手写更新参数时,更新本身不能记进计算图(T03 手写线性回归节)。
- 输出不是标量时,反向传播要给一个外部梯度(例如全 1 向量);输入没有归一化时学习率要取得很小,否则会发散(T03 autograd 节、手写线性回归节)。
07|CNN 与 RNN
必须会算的
- 📌 卷积输出尺寸 W₂ = (W₁ − F + 2P)/S + 1,结果不是整数说明设置不合法(L07 p.31、p.40)。
- 📌 步长 1 时补 (F − 1)/2 圈零,宽高不变(L07 p.34)。
- 📌 参数量:每个滤波器 F·F·D₁ 个权重加 1 个偏置,整层 (F·F·D₁)·K + K。课件例题 32×32×3 输入、10 个 5×5 滤波器:76 × 10 = 760(L07 p.38–40)。
- 📌 池化:W₂ = (W₁ − F)/S + 1,D₂ = D₁,零参数;2×2、步长 2 的最大池化把宽高减半(L07 p.43–44)。
- 📌 全连接对比:32×32×3 拉平为 3072 维,10 个输出就要 30720 个权重(L07 p.10)。
- 📌 LSTM 状态更新:c = f ⊙ c + i ⊙ g,h = o ⊙ tanh(c);i、f、o 用 sigmoid,g 用 tanh(L07 p.83)。
- 📌 LeNet 形状链:32×32 输入,5×5 卷积不补零得 28,2×2 池化得 14,再 5×5 卷积得 10,池化得 5,展平 16×5×5 = 400;全连接层权重矩阵的形状是(输出数, 输入数)(T03 LeNet 节)。
必须会用英文说清的
- 📌 A filter always extends the full depth of the input volume; the depth of the output equals the number of filters.(L07 p.12、p.16)
- 📌 The number of parameters of a convolutional layer does not depend on the width and height of the input, because the weights are shared.(L07 p.39)
- 📌 An RNN applies the same function with the same parameters at every time step: hₜ = f_W(hₜ₋₁, xₜ).(L07 p.58–59)
- 📌 Repeated multiplication by W_hhᵀ in backpropagation makes gradients explode when the largest singular value is greater than 1 and vanish when it is less than 1.(L07 p.77、p.79)
- 📌 Gradient clipping only handles exploding gradients; LSTM eases vanishing gradients because the backward path through c is multiplied by f, not by W.(L07 p.80、p.85–86)
成立条件和常见误区
- 补零后要用补零后的尺寸代入;不补零时每层缩得太快(L07 p.32–35)。
- 1×1 卷积会改变深度,例如把 64 个通道压到 32 个(L07 p.40)。
- 池化对每张激活图独立操作,不改深度(L07 p.43)。
- 序列任务五种结构:one to one、one to many、many to one、延迟式与同步式 many to many;seq2seq = 编码器(many to one)+ 解码器(one to many),两段参数不同(L07 p.51–55、p.70–71)。
- 展开后总损失是各步损失之和,W 的梯度是各时间步梯度之和(L07 p.64、p.67)。
- 课件梯度裁剪代码漏了开根号(L07 p.80 注解)。
08|附:Lecture 8 精简速记(范围存疑)
公告列出的课件只到 Lecture 7,L08 是否考以讲师答复为准。课程表上第 8 周讲的是 L08,所以这里只留一页速记,先把 00–07 节和练习做完再看。第 9 周的嘉宾讲座不在通知范围内。
- 专家系统解决通常需要人类专家的特定领域问题,知识从领域专家那里提取;规则型专家系统由知识库(IF–THEN 规则)、数据库(事实)和推理机组成,条件满足时规则 fire(L08 p.3、p.10)。
- 解释机制回答 how(结论怎么来)和 why(为什么需要这个事实)(L08 p.11)。
- 推荐系统是信息过滤系统,按用户需求和偏好推荐物品,解决信息过载;范式有协同过滤、基于内容、基于知识和混合(L08 p.14、p.20–25)。
- 协同过滤假设过去口味相似的用户将来口味也相似。矩阵分解 R ≈ P × Qᵀ,预测分 r̂ᵢⱼ = pᵢᵀqⱼ,只在已观测的评分上最小化平方误差(L08 p.26、p.31–32)。
- MAE 取误差绝对值的平均;RMSE 是平方误差平均后开根号,对大误差惩罚更重(L08 p.34)。
- 隐式反馈没有负样本、有噪声;BPR 是 pairwise 排序:交互过的物品应排在没交互过的前面(L08 p.36–38)。
- 推荐引擎是多级漏斗:召回 → 排序 → 重排,候选从千万级降到几十(L08 p.49–50)。
这组材料已读完,可以回课程页选择配套资料或练习:COMP5511 课程页。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。