模式识别三层决策逻辑：不确定性建模、判别结构与优化求解

简介本资源是西安电子科技大学XDU《模式识别》课程期末复习专用知识点串联笔记面向人工智能、智能科学与技术等专业本科生聚焦考前系统梳理与重点突破。内容覆盖贝叶斯决策理论、线性与非线性判别方法Fisher判别、感知机、广义线性判别、KNN、决策树、无监督学习核心算法高斯混合模型、EM算法、K-means、FCM、层次聚类及特征选择策略Filter/Wrapper框架、可分性判据与搜索方法并包含SVM与组合分类器等拓展考点结构清晰、公式推导与例题结合紧密。资源为1个PDF文件共1.4MB排版紧凑、重点加粗、逻辑连贯适合作为冲刺阶段的提纲式复习材料。目前已有713人学习下载内容源自真实课堂笔记涵盖西电该课程高频必考模块助力考生高效串联碎片知识、把握命题脉络、提升应试能力。1. 模式识别知识地图不是公式堆砌而是决策逻辑的三层嵌套西电模式识别这门课表面看是贝叶斯、SVM、K-means、EM 这些名词的罗列但真正串起全书的是一条贯穿始终的「决策逻辑链」从“不确定”出发用数学建模刻画不确定性再通过优化目标把不确定性压缩成可执行的判别规则。它不考你背多少公式而考你能否在给定数据分布、先验信息、代价约束下快速定位该调用哪一层工具——是直接上贝叶斯做最小错误率决策还是得先用 LDA 降维再分类抑或连类别标签都没有只能靠 EM 或 FCM 去反推隐变量结构这张地图分三层底层不确定性建模层贝叶斯框架、高斯混合、熵、似然函数——回答“这个世界可能长什么样”中层判别结构设计层判别函数、决策面、核映射、隶属度、距离度量——回答“我该用什么几何/代数结构去切分这个可能世界”顶层搜索与优化层梯度下降、拉格朗日乘子、EM 迭代、特征子集搜索、集成策略——回答“在千万种切法里哪一种最稳、最快、最省资源”。期末复习最常翻车的不是算错一个拉格朗日乘子而是拿到一道题第一反应是“这题该用 KNN 还是 SVM”却没意识到如果题目给了类先验和损失矩阵那它根本就不是 KNN 或 SVM 的适用场景而是最小风险贝叶斯的直答题。这份 XDU 模式识别期末知识点串联就是按这三层逻辑重梳全部内容把零散的“算法模块”还原成有因果、有取舍、有边界的技术判断链。适合正在系统梳理知识脉络、或考前 72 小时查漏补缺的你——它不替代教材但能让你合上书后脑中自动浮现出一张可导航的知识拓扑图。2. 不确定性建模层贝叶斯、似然与熵——所有决策的起点模式识别的本质是对不完全信息下的最优响应。而“不完全”三个字决定了所有方法都必须从建模不确定性开始。这一层不产出最终分类结果但它定义了后续所有优化问题的目标函数和约束条件。忽略它就像没校准罗盘就出海。2.1 贝叶斯公式不只是条件概率而是先验-似然-后验的闭环贝叶斯公式 $ P(\omega_i|\mathbf{x}) \frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{p(\mathbf{x})} $ 是整门课的基石但它的力量不在形式而在其揭示的三元关系$ P(\omega_i) $领域知识注入点。西电考题常以“已知某类样本占总体 30%”形式给出这就是先验不能假设为均匀分布$ p(\mathbf{x}|\omega_i) $数据生成机制建模。若题目明确“各类服从正态分布”这里就必须写成 $ \mathcal{N}(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i) $若只说“连续型”则保留为一般密度函数$ p(\mathbf{x}) \sum_j p(\mathbf{x}|\omega_j)P(\omega_j) $全概率归一化项。计算决策规则时它常被约掉但若题目要求“计算后验概率具体值”它就必须显式展开。提示考试中出现“等价形式”通常指对数后验比 $ \ln\frac{P(\omega_1|\mathbf{x})}{P(\omega_2|\mathbf{x})} \ln\frac{p(\mathbf{x}|\omega_1)}{p(\mathbf{x}|\omega_2)} \ln\frac{P(\omega_1)}{P(\omega_2)} $。这个形式直接导出线性/二次判别函数是连接贝叶斯与判别函数的关键桥梁。2.2 最小错误率 vs 最小风险代价敏感决策的分水岭很多同学混淆二者本质在于是否引入非对称代价最小错误率贝叶斯决策默认所有误判代价相等即 0-1 损失决策规则为$ \text{Choose } \omega_i \text{ if } P(\omega_i|\mathbf{x}) \max_j P(\omega_j|\mathbf{x}) $。等价于比较 $ p(\mathbf{x}|\omega_i)P(\omega_i) $因分母相同。最小风险贝叶斯决策引入损失矩阵 $ \lambda_{ij} \lambda(\alpha_i|\omega_j) $表示将真实为 $ \omega_j $ 的样本判为 $ \alpha_i $ 的代价。此时需计算条件风险$ R(\alpha_i|\mathbf{x}) \sum_j \lambda_{ij} P(\omega_j|\mathbf{x}) $再选择使 $ R(\alpha_i|\mathbf{x}) $ 最小的动作 $ \alpha_i $。例题典型陷阱题干给出“将正常人判为病人代价为 5反之为 10”这就是明确的非对称损失必须用最小风险而非直接比后验概率。此时决策边界会向高代价误判侧偏移——这是西电真题高频考点。2.3 正态分布下的统计决策协方差结构决定判别函数形态当 $ p(\mathbf{x}|\omega_i) \sim \mathcal{N}(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i) $ 时判别函数 $ g_i(\mathbf{x}) $ 的形式由协方差矩阵的假设决定这是必考辨析点协方差假设判别函数形式决策面性质西电考题提示词$ \boldsymbol{\Sigma}_i \sigma^2 \mathbf{I} $球形同方差$ g_i(\mathbf{x}) -\frac{1}{2\sigma^2}|\mathbf{x}-\boldsymbol{\mu}_i|^2 \ln P(\omega_i) $超平面线性“各类方差相等且各向同性”$ \boldsymbol{\Sigma}_i \boldsymbol{\Sigma} $同协方差$ g_i(\mathbf{x}) \mathbf{w}i^T\mathbf{x} w{i0} $其中 $ \mathbf{w}_i \boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i $超平面线性“各类协方差矩阵相同”$ \boldsymbol{\Sigma}_i $ 各异异协方差$ g_i(\mathbf{x}) -\frac{1}{2}\ln\boldsymbol{\Sigma}_i-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) \ln P(\omega_i) $注意第二类同协方差正是 Fisher 线性判别LDA的理论前提——LDA 本质是寻找一个投影方向使投影后的类间散度最大、类内散度最小而该最优方向恰好等价于同协方差贝叶斯决策的线性判别权重 $ \boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2) $。2.4 熵与似然无监督与有监督的不确定性同源表达熵 $ H(X) -\sum p(x)\log p(x) $衡量随机变量 $ X $ 的不确定性。在特征选择中“基于熵的判据”即选使类别条件熵 $ H(\omega|\mathbf{x}_S) $ 最小的特征子集 $ S $因为条件熵越小特征 $ \mathbf{x}_S $ 对类别 $ \omega $ 的预测能力越强对数似然 $ \ln L(\boldsymbol{\theta}) \sum \ln p(\mathbf{x}_n|\boldsymbol{\theta}) $衡量参数 $ \boldsymbol{\theta} $ 解释观测数据的能力。EM 算法的 M 步最大化的就是期望对数似然 $ Q(\boldsymbol{\theta}|\boldsymbol{\theta}^{(t)}) $。二者统一于“最大似然估计MLE”思想有监督时我们最大化 $ p(\text{label}|\text{data},\boldsymbol{\theta}) $无监督时因 label 隐含转而最大化 $ p(\text{data}|\boldsymbol{\theta}) $。所以 K-means 可视为 GMM 在协方差趋近 0 时的硬聚类极限而 FCM 是引入模糊隶属度的软化版本——它们共享同一不确定性源头。3. 判别结构设计层从线性到非线性从硬划分到软隶属建模完不确定性下一步是设计一个“切割工具”。这个工具的形状线性/非线性、硬度硬边界/软隶属、维度原始空间/映射空间决定了它能处理的问题复杂度。本层核心是理解每种结构的适用前提、几何含义与代数表达而非死记算法步骤。3.1 判别函数与决策面所有分类器的共同语言判别函数 $ g_i(\mathbf{x}) $ 是一个标量函数其值大小代表样本 $ \mathbf{x} $ 属于类别 $ \omega_i $ 的“置信度”。决策面则是不同判别函数值相等的点集即 $ g_i(\mathbf{x}) g_j(\mathbf{x}) $ 的解集。线性判别函数$ g_i(\mathbf{x}) \mathbf{w}i^T\mathbf{x} w{i0} $决策面为超平面 $ (\mathbf{w}i-\mathbf{w}j)^T\mathbf{x} (w{i0}-w{j0}) 0 $。Fisher LDA、感知机、同协方差贝叶斯均属此类二次判别函数$ g_i(\mathbf{x}) -\frac{1}{2}\mathbf{x}^T\boldsymbol{\Sigma}_i^{-1}\mathbf{x} \mathbf{x}^T\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i -\frac{1}{2}\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i -\frac{1}{2}\ln|\boldsymbol{\Sigma}_i| \ln P(\omega_i) $决策面为二次曲面。异协方差贝叶斯、某些核方法映射后即为此类距离度量判别如 KNN 中 $ g_i(\mathbf{x}) -\min_{\mathbf{x}_k \in \omega_i} d(\mathbf{x},\mathbf{x}_k) $决策面由 Voronoi 图决定形状高度依赖训练样本分布。提示西电考题常要求“写出二类问题的决策面方程”。务必先确认题目给定的分布假设正态协方差是否相同再代入对应判别函数令 $ g_1(\mathbf{x}) g_2(\mathbf{x}) $ 整理即可。切忌直接写 $ \mathbf{w}^T\mathbf{x} b 0 $ 而不说明 $ \mathbf{w},b $ 的来源。3.2 Fisher 线性判别LDA类内紧、类间开的几何实现Fisher 准则 $ J(\mathbf{w}) \frac{\mathbf{w}^T\mathbf{S}_B\mathbf{w}}{\mathbf{w}^T\mathbf{S}_W\mathbf{w}} $ 的物理意义清晰分子 $ \mathbf{S}_B $类间散布矩阵衡量投影后类中心距离分母 $ \mathbf{S}_W $类内散布矩阵衡量投影后类内离散程度。最大化 $ J $ 即寻求一个方向让类中心尽可能远、类内点尽可能聚。对于二类问题最优投影向量为 $$ \mathbf{w}^* \mathbf{S}_W^{-1}(\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2) $$ 这与同协方差贝叶斯的线性判别权重完全一致印证了 LDA 是贝叶斯在特定假设下的几何实现。实际计算中$ \mathbf{S}_W $ 和 $ \mathbf{S}_B $ 的构造是易错点$ \mathbf{S}W \sum{i1}^c \sum_{\mathbf{x} \in \omega_i} (\mathbf{x} - \boldsymbol{\mu}_i)(\mathbf{x} - \boldsymbol{\mu}_i)^T $即各类内离差阵之和$ \mathbf{S}B \sum{i1}^c N_i (\boldsymbol{\mu}_i - \boldsymbol{\mu})(\boldsymbol{\mu}_i - \boldsymbol{\mu})^T $其中 $ \boldsymbol{\mu} $ 是总均值$ N_i $ 是第 $ i $ 类样本数。3.3 感知机与梯度下降线性可分问题的迭代求解感知机目标是找到权向量 $ \mathbf{a} [\mathbf{w}^T, w_0]^T $使对所有训练样本 $ \mathbf{y}_n $已增广有 $ \mathbf{a}^T\mathbf{y}_n 0 $。其更新规则 $ \mathbf{a}^{(k1)} \mathbf{a}^{(k)} \rho \mathbf{y}_n $对误分样本本质是沿负梯度方向修正。三种梯度下降变体在西电考题中常对比考查方法更新粒度收敛性计算开销西电考点BGD批量使用全部误分样本均值更新稳定收敛若步长合适每轮需遍历全集“证明 BGD 更新方向为负梯度”SGD随机每次仅用一个误分样本更新收敛慢路径震荡极低适合大数据“SGD 的更新公式及为何能收敛”MBGD小批量用 mini-batch 误分样本均值更新平衡 BGD 与 SGD中等“MBGD 相比 SGD 的优势”关键提醒感知机仅保证在线性可分时收敛。若题目给出“数据线性不可分”则不能直接用感知机需转向 SVM引入松弛变量或核方法。3.4 核方法与 SVM非线性问题的升维破局SVM 的核心洞察是许多在原始空间线性不可分的问题在某个高维特征空间 $ \mathcal{F} $ 中可能是线性可分的。核技巧 $ k(\mathbf{x}_i,\mathbf{x}_j) \phi(\mathbf{x}_i)^T\phi(\mathbf{x}_j) $ 允许我们在不显式计算 $ \phi(\cdot) $ 的情况下完成高维空间的内积运算。常用核函数及其适用场景# 线性核适用于原始特征已具强判别力或维度极高如文本TF-IDF def linear_kernel(x, y): return np.dot(x, y) # 多项式核捕捉特征间的交互项如 x1*x2阶数 d 需调优 def poly_kernel(x, y, d3, c1): return (np.dot(x, y) c) ** d # RBF高斯核最常用能逼近任意连续函数γ 控制单个支持向量影响范围 def rbf_kernel(x, y, gamma1.0): return np.exp(-gamma * np.linalg.norm(x - y) ** 2)SVM 的决策函数为 $ f(\mathbf{x}) \sum_{i1}^N \alpha_i y_i k(\mathbf{x}_i, \mathbf{x}) b $其中 $ \alpha_i 0 $ 的样本即为支持向量——它们是唯一决定决策面的点。考试中若问“为什么 SVM 具有稀疏性”答案即在此大部分 $ \alpha_i 0 $仅支持向量贡献。4. 搜索与优化层从参数估计到特征工程的系统性求解即使有了完美的模型和结构最终效果仍取决于如何高效、鲁棒地找到最优参数。本层覆盖从单点优化梯度法到全局搜索遗传算法、从参数学习EM到结构选择特征子集的完整工具箱。它是区分“会做题”和“真懂原理”的分水岭。4.1 EM 算法隐变量问题的迭代期望最大化GMM 的参数 $ \boldsymbol{\theta} {\pi_k, \boldsymbol{\mu}k, \boldsymbol{\Sigma}k}{k1}^K $ 无法直接用 MLE 估计因为隐变量 $ z{nk} $第 $ n $ 个样本属于第 $ k $ 个分量的指示变量未知。EM 通过交替执行 E 步求期望和 M 步最大化来解决E 步计算后验概率责任 $ \gamma(z_{nk}) P(z_{nk}1|\mathbf{x}_n,\boldsymbol{\theta}^{(t)}) \frac{\pi_k^{(t)} \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k^{(t)},\boldsymbol{\Sigma}k^{(t)})}{\sum{j1}^K \pi_j^{(t)} \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_j^{(t)},\boldsymbol{\Sigma}_j^{(t)})} $M 步用 $ \gamma(z_{nk}) $ 作为软标签更新参数 $$ \pi_k^{\text{new}} \frac{1}{N}\sum_{n1}^N \gamma(z_{nk}), \quad \boldsymbol{\mu}k^{\text{new}} \frac{\sum{n1}^N \gamma(z_{nk}) \mathbf{x}n}{\sum{n1}^N \gamma(z_{nk})}, \quad \boldsymbol{\Sigma}k^{\text{new}} \frac{\sum{n1}^N \gamma(z_{nk}) (\mathbf{x}_n - \boldsymbol{\mu}_k^{\text{new}})(\mathbf{x}n - \boldsymbol{\mu}k^{\text{new}})^T}{\sum{n1}^N \gamma(z{nk})} $$注意EM 保证对数似然单调不减但只能收敛到局部极大值。因此西电实验题常要求“多次随机初始化取最佳结果”。初始化质量如用 K-means 结果初始化 GMM直接影响最终聚类效果。4.2 K-means 与 FCM硬聚类与软聚类的范式对比K-means 是 EM 在 GMM 的协方差 $ \boldsymbol{\Sigma}k \to 0 $ 且各分量权重 $ \pi_k $ 相等时的特例其目标函数为最小化簇内平方误差 $$ J \sum{n1}^N \sum_{k1}^K r_{nk} |\mathbf{x}_n - \boldsymbol{\mu}k|^2 $$ 其中 $ r{nk} \in {0,1} $ 是硬分配指示符。FCM 则引入模糊隶属度 $ u_{nk} \in [0,1] $满足 $ \sum_{k1}^K u_{nk} 1 $目标函数为 $$ J_m \sum_{n1}^N \sum_{k1}^K u_{nk}^m |\mathbf{x}n - \boldsymbol{\mu}k|^2 $$ 其中 $ m 1 $ 是模糊指数通常取 2控制模糊程度。更新公式为 $$ u{nk} \frac{1}{\sum{j1}^K \left( \frac{|\mathbf{x}_n - \boldsymbol{\mu}_k|}{|\mathbf{x}n - \boldsymbol{\mu}j|} \right)^{\frac{2}{m-1}}}, \quad \boldsymbol{\mu}k \frac{\sum{n1}^N u{nk}^m \mathbf{x}n}{\sum{n1}^N u{nk}^m} $$关键区别K-means 的聚类中心受离群点剧烈影响因平方误差放大远点而 FCM 的隶属度随距离增大而平滑衰减对噪声更鲁棒——这是西电“对比分析题”的标准答案模板。4.3 特征选择Filter 与 Wrapper 的战略取舍特征选择不是“越多越好”而是“在精度、成本、可解释性间找平衡”。Filter 与 Wrapper 代表两种哲学Filter 方法如基于 Fisher 准则、互信息独立于后续分类器计算特征子集 $ S $ 的评价指标 $ J(S) $如类间/类内散度比选择使 $ J(S) $ 最大的 $ S $。优点是快、稳定缺点是忽略特征间交互及分类器特性。Wrapper 方法将特征子集 $ S $ 视为黑盒用交叉验证评估其在目标分类器如 SVM上的性能如准确率以该性能为 $ J(S) $。优点是精度高缺点是计算昂贵易过拟合。西电考题常考搜索策略顺序前进Sequential Forward Selection, SFS从空集开始每次添加一个使 $ J(S) $ 提升最大的特征顺序后退Sequential Backward Elimination, SBE从全集开始每次删除一个使 $ J(S) $ 下降最小的特征增 L 减 R一步中同时加入 $ L $ 个、删除 $ R $ 个特征平衡探索与开发。易错点学生常认为 SFS 一定优于 SBE。实际上SFS 可能陷入局部最优早期加入的特征限制了后期选择而 SBE 在特征数不多时更可靠。西电真题曾要求“分析 SFS 在 10 维特征中选 5 维的计算复杂度”答案需指出其为 $ O(10 \times 9 \times 8 \times 7 \times 6) O(10^5) $远高于穷举 $ C_{10}^5 252 $。4.4 组合分类器Bagging 与 AdaBoost 的偏差-方差权衡单一分类器常面临高方差如决策树过拟合或高偏差如线性模型欠拟合。组合方法通过集成多个弱学习器降低整体泛化误差。BaggingBootstrap Aggregating对训练集进行有放回随机抽样bootstrap得到 $ B $ 个子集分别训练基分类器 $ h_b $最终投票分类或平均回归。其核心是降低方差对高方差模型如深决策树效果显著。西电考题常问“Bagging 中为何抽样比例约为 $ 1-1/e \approx 63.2% $”——因 $ n $ 个样本中某一样本未被抽中的概率为 $ (1-1/n)^n \to e^{-1} $故平均约 36.8% 样本成为 out-of-bag (OOB) 数据可用于无偏评估。AdaBoostAdaptive Boosting初始化样本权重均匀每轮训练一个基分类器 $ h_t $根据其错误率 $ \epsilon_t $ 计算权重 $ \alpha_t \frac{1}{2}\ln\frac{1-\epsilon_t}{\epsilon_t} $再更新样本权重正确分类的样本权重降低错误分类的升高。最终强分类器为 $ H(\mathbf{x}) \text{sign}(\sum_t \alpha_t h_t(\mathbf{x})) $。其核心是降低偏差对高偏差模型有效。二者本质是同一枚硬币的两面Bagging 通过多样性different datasets减方差AdaBoost 通过聚焦难点re-weighting减偏差。考试中若见“比较 Bagging 与 AdaBoost 对噪声的鲁棒性”标准答案是Bagging 更鲁棒因噪声样本在多数 bootstrap 中被稀释AdaBoost 易受噪声干扰因错误样本权重被不断放大。5. 易错点与易忽略点西电期末考卷上的隐形扣分项模式识别考试不是拼谁记得多而是拼谁避坑准。以下 5 条是历年真题和模拟卷中最高频的“玄学失分点”每一条背后都有血泪经验——不是概念不懂而是细节踩坑。5.1 贝叶斯决策中混淆“后验概率最大”与“似然最大”易漏点看到 $ p(\mathbf{x}|\omega_i) $ 就直接比大小忽略先验 $ P(\omega_i) $。为什么漏教材例题常设 $ P(\omega_1)P(\omega_2) $导致思维惯性考试题却偏爱给 $ P(\omega_1)0.9, P(\omega_2)0.1 $ 这种非均匀先验。怎么补养成强制写全 $ p(\mathbf{x}|\omega_i)P(\omega_i) $ 的习惯。哪怕题目没给先验也要写“若先验相等则…”——这能拿步骤分且暴露你的逻辑链。5.2 Fisher LDA 的投影维度与类别数绑定易漏点对 $ c $ 类问题认为 LDA 最多投影到 $ c-1 $ 维却在计算中仍用 $ c $ 维投影向量。为什么漏公式推导中 $ \mathbf{S}_B $ 的秩最多为 $ c-1 $故非零特征值最多 $ c-1 $ 个。若强行取 $ c $ 个第 $ c $ 个特征向量对应零特征值无判别信息。怎么补牢记口诀“$ c $ 类 → $ \leq c-1 $ 维”。做题时先算 $ \mathbf{S}_B $ 的秩或直接写 $ \min(c-1, d) $$ d $ 为原始维数再取对应数量的主成分。5.3 KNN 中k 值选择与样本量、维度的隐性冲突易漏点只记“k 小则敏感噪声k 大则模糊边界”却忽略“k 必须小于训练样本数 $ N $”且在高维空间中k 需显著增大才能保证最近邻有意义维数灾难。为什么漏教材强调 k 的奇偶性防平票但西电考题曾出“100 个样本k50 是否合理”——答案是否定的因 k50 时决策几乎退化为先验概率估计丧失局部性。怎么补k 的经验上限为 $ \sqrt{N} $下限为 1奇数。若题目给高维数据如 50 维应质疑 KNN 是否仍是首选并考虑先降维LDA/PCA。5.4 EM 算法中混淆“E 步计算的是期望”与“M 步最大化的是似然”易漏点在 M 步写 $ \max_{\boldsymbol{\theta}} \sum_n \ln p(\mathbf{x}n|\boldsymbol{\theta}) $而正确目标是 $ \max{\boldsymbol{\theta}} Q(\boldsymbol{\theta}|\boldsymbol{\theta}^{(t)}) \mathbb{E}_{Z|\mathbf{X},\boldsymbol{\theta}^{(t)}}[\ln p(\mathbf{X},Z|\boldsymbol{\theta})] $。为什么漏Q 函数的定义抽象学生易跳过推导直接记结论。但西电推导题必考“写出 GMM 的 Q 函数并求导”。怎么补死记 Q 函数结构$ Q \sum_n \sum_k \gamma(z_{nk}) \ln [\pi_k \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)] $。求导时对 $ \pi_k $ 求导需加约束 $ \sum_k \pi_k 1 $用拉格朗日乘子法。5.5 SVM 中误将“支持向量”等同于“离决策面最近的点”易漏点认为所有离超平面距离 $ \frac{1}{|\mathbf{w}|} $ 的点都是支持向量。为什么漏忽略了支持向量的定义是 $ \alpha_i 0 $而 $ \alpha_i 0 $ 当且仅当样本满足 $ y_i(\mathbf{w}^T\mathbf{x}_i b) 1 $即位于间隔边界上。若数据有松弛变量 $ \xi_i 0 $则 $ \alpha_i C $ 的点也是支持向量但它们在间隔内甚至误分侧。怎么补支持向量有三类① $ 0 \alpha_i C $严格在边界上② $ \alpha_i C $在间隔内或误分③ $ \alpha_i 0 $非支持向量。考试画图题必须标出这三类点的位置。6. 期末冲刺复习清单72 小时精准查漏与实战推演最后 72 小时不是从头学而是用一套结构化动作把知识网络里的断点、模糊点、易错点全部激活。我给自己定的铁律是每道题必须走完“建模→结构→优化”三步闭环。下面这份清单就是按此逻辑设计的实战推演表覆盖西电模式识别所有核心题型。照着做能帮你把“好像会”变成“肯定能”。6.1 三步闭环自查表针对每类题型的强制流程对任何一道题无论它看起来多简单都必须机械执行以下三步并在草稿纸上写下关键词。这是防止考场大脑空白的后悔药。题型第一步建模不确定性第二步结构判别形式第三步优化求解方法西电真题示例贝叶斯决策写出 $ P(\omega_i) $、$ p(\mathbf{x}\omega_i) $ 形式正态参数确定用最小错误率还是最小风险写出判别函数 $ g_i(\mathbf{x}) $若正态直接代入公式若需数值计算后验比LDA/Fisher确认类别数 $ c $计算各类均值 $ \boldsymbol{\mu}_i $、总均值 $ \boldsymbol{\mu} $写出 $ \mathbf{S}_W $、$ \mathbf{S}_B $ 定义确定投影维数 $ \leq c-1 $解广义特征值问题 $ \mathbf{S}_B \mathbf{w} \lambda \mathbf{S}_W \mathbf{w} $取最大 $ c-1 $ 个特征向量“三类数据求 Fisher 投影方向”答案必为两个正交向量感知机/SVM判断线性可分否若不可分SVM 需引入 $ \xi_i $写出判别函数 $ g(\mathbf{x}) \mathbf{w}^T\mathbf{x} b $SVM 需写对偶问题感知机梯度更新SVM解 $ \max_\alpha W(\boldsymbol{\alpha}) $注意 KKT 条件 $ \alpha_i[y_i(\mathbf{w}^T\mathbf{x}_ib)-1\xi_i]0 $“用感知机更新权向量初始 $ \本文还有配套的精品资源点击获取