机器学习期末复习：错题归因与考点地图，考前一周高效备考

简介：《机器学习期末复习试题.doc》是一份面向机器学习课程期末备考的试题资料，适合高校生、考研复习者以及算法初学者系统梳理核心概念。内容以问答形式覆盖九大高频考点：监督与无监督学习、过学习的成因与对策、回归与逻辑回归的损失函数、多层感知机BP算法流程、朴素贝叶斯在特征重复场景下的失效分析、最近邻法与三近邻法的距离计算、极大似然法参数推导、线性可分性与异或问题的核函数映射、EM算法收敛原理等。每道题都附有简明参考答案，部分计算题如三近邻距离排序、抛硬币的θ估计、φ(x)=[1,x1,x2,x1x2]映射与最大间隔求解均给出逐步推导或观察解法，便于对照自测。资源包仅含1个doc文档，大小93KB，适合考前一周集中复习、打印背诵或作为题库快速查阅。已有5740人浏览学习，是期末前查漏补缺的实用资料。

1. 机器学习期末复习试题：考前一周最该做的不是刷题，是刷「错题归因」

拿到一份“机器学习期末复习试题.doc”，考前一周的常规操作是闷头刷一遍，对答案，把错题背下来。我的看法相反：翻车的同学大多不是不够努力，而是把做题当成了终点。这份复习试题的真正价值不是让你“做过这些题”，而是用它暴露你的知识盲区，再逐个填平。这篇文章按我实际用过的复习流程展开：先搭考点地图，再拆高频题型，接着用避坑清单兜住低级失误，最后把错题反向变成查漏清单。适合正在准备期末、手上有复习题但不知道怎么用的同学；自学者也一样适用。

2. 先搭知识地图：一份期末卷的考点分布与分值权重参考

2.1 监督学习主线：回归、分类与集成模型的高频考点边界

不搞清知识框架就刷题，刷完只会记得零散题目，换个问法还是不会。我一般建议先按“模型—任务—损失函数—评估”四层去看整张卷子。监督学习通常占整卷的50%到60%，这部分丢分，期末基本就危险了。

回归部分，线性回归是必考。要掌握损失函数是均方误差 MSE，公式是 1/n 乘以所有样本真实值与预测值差值的平方和；参数求解有两条路径：最小二乘法闭式解和梯度下降迭代。闭式解要会推导，梯度下降要能写清更新式 θ := θ - α·(1/m)·Σ(h(x_i)-y_i)·x_i。问答题常考“为什么线性回归用最小二乘而不用绝对值误差”，答案是 MSE 处处可导，几何上对应欧氏距离，方便求导和优化。

分类部分，逻辑回归虽然名字带“回归”，实际是分类模型。常考“为什么不用 MSE 做逻辑回归损失”，因为 MSE 对 Sigmoid 输出是非凸函数，梯度下降会陷入局部最优；交叉熵是凸的，更容易收敛。朴素贝叶斯考贝叶斯定理和条件独立假设，手算题典型是垃圾邮件分类。决策树考信息增益与基尼系数的计算，要能根据给定表格一步步算出 H(D)、H(D|A) 和最终的信息增益。

集成学习是近年试卷里的常客。随机森林等于 Bagging 加决策树，特点是并行训练、降低方差；AdaBoost 与 GBDT 属于 Boosting，串行训练、降低偏差。我见过最狠的一道简答题是“为什么 Boosting 比 Bagging 更容易过拟合”，答案在 Boosting 会不断拟合残差、对异常点敏感，而 Bagging 对每个子集平均化，天然平滑。

2.2 无监督与降维：聚类、关联规则与 PCA 的出题方式

无监督部分通常占 20% 左右。K-Means 是绝对主力，考点包括：欧氏距离度量、迭代步骤（初始化中心、分配样本、更新中心、收敛判断）、K 值选择（肘部法）。手算题会给 6 个点聚成 2 类，要求写两轮迭代后的类中心。DBSCAN 考两个参数：邻域半径 eps 和最少样本数 minPts，常问“当 eps 过大时聚类结果会怎样”，答案是噪声点被并入簇、簇数量减少，严重时整片数据合成一坨，聚类失去意义。

降维部分，PCA 考概念比考计算多：主成分是协方差矩阵的特征向量，特征值大小代表该方向的方差解释率。常问“为什么 PCA 之前要做标准化”，因为不标准化，量纲大的特征会主导方差，主成分结果失真。

关联规则 Apriori 算法考支持度、置信度、提升度三个指标的计算，外加剪枝思想：先找频繁项集，再生成关联规则，提升度大于 1才算正相关。这类题算起来不难，但容易因为忘记分母到底是哪个计数而丢分。

2.3 评估指标与验证策略：混淆矩阵、偏差方差与交叉验证的分值分布

评估部分一般占 15% 到 20%，但最容易暴露出“背了定义、不会用”的毛病。混淆矩阵是起点，要能从 TP、FP、FN、TN 推导准确率、精确率、召回率和 F1。选择题常考“在信用卡欺诈检测中，把正常交易误判为欺诈和把欺诈漏过去，哪个代价更高”，答案是漏过去（低召回）后果严重，所以优化目标应该是召回率或 F1，而不是准确率。

偏差方差这块，偏置大等于欠拟合，方差大等于过拟合。正则化是降低方差的常用手段：L1 会把权重稀疏化，适合特征选择；L2 把权重压缩到接近 0 但不为 0。这个问题在多选和简答里反复出现。

交叉验证几乎所有问答题都会碰。K 折交叉验证把训练集分成 K 份，轮流拿 K-1 份训练、1 份验证，最终指标取平均。常问“为什么不直接用测试集调参”，因为测试集一旦参与调参就有了信息泄漏，最终评估结果虚高，这不是给自己买后悔药，而是自己骗自己。

下面是复习试题中一份参考用的考点分布表，复习时优先覆盖占分高的格子：

注意：这是参考分布不是铁律。如果你的课程偏向“机器学习西瓜书”，决策树和信息增益的分值会更高；如果偏向“吴恩达机器学习”，线性回归和神经网络的分值会更高。拿到真实试题先翻一遍主观题，对照这个表再分配时间。

2.4 别忘了神经网络与深度学习的基础考点

很多学校的“机器学习”课和后续的“深度学习”课分开，但期末卷里神经网络至少占 10%。考点集中在：感知机与多层感知机、激活函数选型、前向传播和反向传播的流程、梯度消失原因。

反向传播不要求手算链式法则每一步，但至少要能把流程写出来：前向算输出、算损失、从输出层往回逐层求梯度、更新权重。常考“为什么深层网络用 Sigmoid 容易梯度消失”，原因在 Sigmoid 导数最大值只有 0.25，连乘之后趋近于 0，梯度传不到前面层；ReLU 导数为 1，能缓解。

激活函数的选择口诀：隐藏层优先 ReLU，二分类输出层用 Sigmoid，多分类输出层用 Softmax。选择题喜欢把 Tanh 和 Sigmoid 放一起比，答案是 Tanh 均值接近 0，收敛更快。

3. 用试题反向定位复习重点：四类高频题型的拆解与答题套路

3.1 概念辨析题：六个最容易混淆的术语对与区分方法

辨析题本质是考“边界感”。我总结了六个高频易混淆对子。

过拟合与欠拟合，区分看训练集和验证集的表现。训练集差、验证集也差，是欠拟合；训练集好、验证集差，是过拟合。口诀“训差验差欠拟合，训好验差过拟合”。常和学习曲线放一起考：偏差高时曲线收敛在高误差，方差高时两条曲线分叉明显。

L1 与 L2 正则化，图形上理解：L1 约束是菱形，最优解容易落在坐标轴上，产生稀疏权重，能做特征选择；L2 约束是圆，让权重趋向 0 但不等于 0。选择题问“哪个正则能做特征选择”就选 L1。

Bagging 与 Boosting，Bagging 并行训练多个基学习器，投票表决，主要降方差；Boosting 串行训练，每轮纠正前一轮残差，主要降偏差。

监督与无监督，核心看训练数据有没有标签。有标签是监督，无标签是无监督。要注意“半监督”是用少量带标签加大量无标签数据，它不是独立算法，而是训练策略。

偏差与方差，简单说：偏差是模型预测的期望与真实值的差距，方差是不同训练集上预测的波动。高偏差就是跑偏，高方差就是不稳。

SVM 与逻辑回归，SVM 追求最大间隔，只关注支持向量，适合小样本高维；逻辑回归对全量样本建模，输出概率，适合需要概率解释的场景。选型时样本小、维度高、边界复杂优先 SVM；样本大、要概率输出优先逻辑回归。

3.2 计算推导题：线性回归、朴素贝叶斯、决策树的手算流程

计算题是拉分关键，三个流程值得考前默写一遍。

线性回归最小二乘法，分四步走：设模型 y = wx + b；写误差平方和 J = Σ(y_i - (wx_i + b))^2；对 w、b 求偏导并令其等于 0；解二元一次方程组，得到 w 和 b。考试给两个点也能解，比如 (1,2) 和 (3,4)，代入方程组可得 w=1、b=1。注意如果题目要求矩阵形式 x = (X^T X)^{-1} X^T y，而 X^T X 不可逆，说明特征存在多重共线性，要改用岭回归加 λI。

朴素贝叶斯，分三步：统计先验概率 P(C)；对每个特征统计条件概率 P(x_i | C)；对新样本连乘后取最大后验的类别。最容易翻车的是某个条件概率为 0，连乘直接为 0，必须用拉普拉斯平滑，分子加 1、分母加类别数。

决策树信息增益，分三步：计算总熵 H(D) = -Σ p_k log2 p_k；对每个特征，按特征取值划分子集，计算条件熵 H(D|A)；信息增益等于 H(D) 减 H(D|A)，取最大者作为划分特征。如果题目改用基尼系数，Gini(D) = 1 - Σ p_k^2，选 Gini 最小的特征。ID3 用信息增益，C4.5 用信息增益率，CART 用基尼系数，这个对应关系是选择题常客。

3.3 应用设计题：从场景描述到模型选型的答题模板

应用设计题是“机器学习 应用流程”最直接的考法。给一段业务场景，让你设计解决方案。我的标准答题模板分四步。

第一步定性任务，先写“这是一个二分类/多分类/回归/聚类问题”，不要上来就选模型。第二步匹配数据与模型：小样本高维用 SVM 或逻辑回归；文本用朴素贝叶斯或 TF-IDF 加 SVM；图像用 CNN；数值表格用决策树、随机森林或 GBDT。第三步写全流程：数据清洗、特征工程、划分训练集验证集测试集、交叉验证选参数、训练模型、评估指标。第四步说明评估与迭代：分类看准确率、召回率、F1；回归看 MSE、MAE；不平衡数据看 PR 曲线。

答题时把这四步写全，每一步写一两句理由，就能拿大部分分数。数据量、特征维度、是否有标签、是否要求可解释性，这四件事决定选型方向。

3.4 实验分析题：数据处理、特征工程与模型调优的答题框架

实验分析题专门考“机器学习中的数据处理”和调参。给你一组实验结果，让你解释为什么效果差或怎么改进。常见场景有三类。

第一类，模型在训练集上准确率 95%，测试集只有 70%。判断为过拟合，改进动作是加 L2 正则、降低模型复杂度、增加训练数据、用交叉验证调参、做数据增强。第二类，训练集和测试集都只有 60%。判断为欠拟合，改进动作是换更强模型、增加特征、减少正则强度、增加训练轮数。第三类，归一化之后效果变差。先检查测试集是不是用了训练集的均值和方差做标准化。正确做法是把 scaler 拟合在训练集上，再用同一 scaler 变换测试集，否则就是数据泄漏。

特征工程部分常考：连续变量离散化、One-Hot 编码、缺失值处理（均值、中位数、众数、删除）、标准化与归一化的差别。标准化适合有异常值不严重的数值特征；归一化适合有界的特征，比如像素值 0 到 255。树模型对特征尺度不敏感，线性模型和神经网络对尺度敏感，答题一定要扣住这个点。

4. 避坑：期末复习中常见的五个「看似会了」陷阱

4.1 背了公式但换数值就算错

现象：梯度下降更新公式默写得很流畅，但卷子上给三个具体样本，让算第一轮迭代后的参数，算出来和同学对不上。

原因：只背了向量形式的公式 θ := θ - α·(1/m)·X^T(Xθ - y)，没理解标量展开后要对每个样本的误差求和，再乘以对应特征。实际手算时漏了求和，或者乘了错误的特征列。

解决：考前至少完整手算一次线性回归一轮迭代。拿 3 个样本、2 个特征，按“先算预测值、算误差、对每个特征求梯度、更新参数”的步骤走一遍，把中间数字写下来。算完再用 python 的 sklearn 或者和同学对答案，确认结果一致。

4.2 混淆训练集、验证集、测试集的分工

现象：把测试集当验证集反复使用，调完参数再拿同一份测试集评估，最终得到 95% 准确率，自我感觉良好。

原因：没理解三个集合的职责。训练集学参数，验证集调超参数，测试集只做最终评估。测试集一旦参与调参，信息已经泄漏进模型，最终评估结果虚高。

解决：在复习笔记里写死一句话：“测试集只能碰一次”。做实验分析题时，每一轮调参都要写“用 K 折交叉验证在训练集内部选参数，最后用测试集评估一次”，这样答题规范又能拿分。

4.3 混淆监督与无监督的应用场景判断

现象：题目描述“给一批用户行为日志，没有历史标签，想把用户分群”，有同学直接写决策树。

原因：看到“分”就想到分类，没意识到“分群”是聚类。本质是没先问“有没有标签”。

解决：做题先圈出“是否有标签”这个关键条件。没有标签，聚类或降维优先；有标签，再分回归还是分类。把这个流程写进应用设计题的模板里，每次先写定性任务再选模型，就能避开这个坑。

4.4 只刷选择不写推导

现象：复习时选择题刷得很顺手，觉得都会。考场上简答题要求“推导线性回归最小二乘估计”，只能写出第一步误差平方和，后面全乱了。

原因：选择题靠选项能唤起记忆，推导题要自己组织逻辑链条，两者记忆深度完全不同。这属于复习方式选错了，把复习做成了刷题打卡。

解决：用复习试题时，主观题不要只在脑子里过答案，拿纸笔写完整推导。写完对照标准答案订正。推导题的产出是过程分，脑子里过一遍和写出来差别很大，尤其考试时间紧张时，平时写过的同学能更快进入状态。

4.5 忽略数据处理类考点

现象：卷子中“将类别特征用 One-Hot 编码”“标准化后 SVM 为什么精度提升”这类题丢分，而模型原理却答得不错。

原因：复习时把精力都放在模型算法上，轻视了“机器学习中的数据处理”这个基础环节。但数据预处理往往是实验分析题的第一步，丢了很可惜。

解决：把数据处理常见考点列成一个清单：缺失值处理、异常值处理、标准化与归一化、类别编码、特征选择、降维。每个考点配一个问题，像选择题一样快速过一遍。花一小时补齐这部分，比盲目刷十道模型题更划算。

5. 错题归因到查漏清单：逆向复习的三个具体动作

5.1 错题分类：把错误归到概念、计算、应用三类

拿到参考答案后，先别急着背。我习惯把每道错题归到三类中的一类。

概念类表现为术语混淆、定义说不清，比如“Bagging 与 Boosting 区别”答反了。计算类表现为公式记得住但手算出错、数值代错、步骤漏掉，比如“信息增益算到一半忘了乘样本占比”。应用类表现为场景判断错、流程漏步骤、评估指标选错，比如“不平衡数据集用准确率评估”。

模糊的题按最严重的一类归。归类后统计数量，哪类最多就先复习哪类，这是按痛点排序，不按教材目录排序。下面这张表可以快速对照：

5.2 建立查漏清单：按「不会的公式」「混淆的概念」「没见过的题型」三列

我考前做的最后一份表是一个三列清单。不会的公式，比如线性回归闭式解、SVM 对偶形式、信息增益、交叉熵、F1，复习动作是默写，直到能不假思索写出来。混淆的概念，比如偏差与方差、Bagging 与 Boosting、L1 与 L2，复习动作是画对比表，用自己的话解释一遍。没见过的题型，比如“给学习曲线判断模型状态”“给业务场景选评估指标”，复习动作是找同题型再练两道，练到套路熟练。

这张表比错题本轻量，考前一晚只看它，效率最高。错题本太厚，考前根本翻不完；三列清单每列不超过五行，十分钟能过一遍。

5.3 时间分配：考前三天与考前一晚的复习节奏

我的一般节奏是这样的，供你参考。

D-3 做完整考：拿一份完整复习试题，按考试时间 2 小时限时做，不看笔记、不查资料。这一步的目的是暴露真实水平，不是制造焦虑。D-2 归因订正：对答案，把错题按 5.1 分类，填三列清单。花半天把清单里“不会的公式”全部默写一遍。D-1 补漏：针对“混淆的概念”和“没见过的题型”，回到对应教材章节快速补。西瓜书看算法原理部分，吴恩达机器学习笔记看课后题，这两个来源足够覆盖大多数期末出题思路。

考前一晚只做轻量复习，看三列清单和错题归因统计，别再刷新题。新题只会制造焦虑，不会带来新的知识点。这也是我踩过的坑：考前一晚刷了一套模拟题，第二天考试满脑子是新题答案，本来背熟的定义反而模糊。所以考前一晚只做“提取练习”，不做“输入练习”。

6. 最后一道坎：把「会做」变成「能在考场上做对」

复习试题练到能答对，离考场上做对还差一个“模拟考试”环节。我的建议是至少完整限时做一次卷子，时间严格按正式考试的 80% 到 90% 来，留出检查余量。做题顺序先易后难：先把选择填空这类快速拿分的做掉，再做计算题，最后写应用设计题，因为设计题最耗时，容易写到一半没时间。

考场上一个容易丢分的地方是计算题的过程书写。复习试题的答案通常只写结果，但阅卷按过程给分。线性回归推导哪怕最后数值错了，只要前面的求和公式、求导过程是对的，也能拿大半分数。所以要养成“每步一行、写清公式再代数”的习惯。

另一个技巧是给简答题留“关键词优先”的答题结构：先把核心术语写出来，再展开解释。比如问“为什么 L2 能缓解过拟合”，第一句写“L2 在损失函数中加入权重的平方和惩罚项，迫使权重趋向 0，降低模型复杂度”，后面再补充几何解释。阅卷看关键词给分，这个习惯能少丢不少冤枉分。

我自己带复习时反复强调一个观念：答题不是为了显得聪明，是为了让判卷人快速看到你会哪些知识点。概念题先写定义再写区别，设计题先写流程再写理由。这道坎过去了，你会发现期末并没有想象中可怕。希望帮到你。

本文还有配套的精品资源，点击获取