SMOTE算法MATLAB实现：从k近邻插值到不平衡数据实战避坑

简介这份资源是面向机器学习初学者与数据挖掘工程师的SMOTE算法MATLAB实现包用于解决分类任务中少数类样本不足导致的模型偏置问题。压缩包共5个文件以2个.m脚本为核心分别承载SMOTE主算法与测试调用逻辑另附LICENCE.txt、.gitignore、.gitattributes等辅助配置整体仅3KB轻量易读适合直接嵌入现有MATLAB工程。代码围绕K近邻与线性插值合成少数类样本覆盖数据加载、预处理、过采样、数据融合到模型训练评估的完整链路并提示K值选择、过拟合控制及与Tomek链接等方法结合使用的注意事项。已有1324人学习下载可作为不平衡数据实验的入门参考与二次开发起点。1. SMOTE 算法为什么“造样本”比“调模型”更关键拿到一份类别极度不平衡的数据集时多数人的第一反应是换模型、调超参、加正则。但真正让召回率翻车的往往不是模型不够强而是少数类样本太少少到模型根本“没见过”足够的决策边界形态。SMOTESynthetic Minority Over-sampling Technique解决的就是这个问题它不复制少数类样本而是在少数类样本之间做插值合成出新的、不在原始数据中出现过的样本点。这件事听起来简单但背后涉及一个核心判断——少数类的局部线性假设是否成立。如果成立插值出来的样本就落在真实的少数类流形附近如果不成立合成样本就是噪声。matlab 版本的 SMOTE 实现恰好把这个问题暴露得最清楚因为 matlab 的矩阵运算风格让“近邻选择”和“插值生成”这两步的底层逻辑变得可读、可改、可验证。搞懂它你就不只是会调一个函数而是能判断什么时候该用、什么时候用了反而掉点。2. SMOTE 的底层机制从 k 近邻到合成样本的完整链路2.1 为什么不能简单复制少数类样本最朴素的过采样是随机复制少数类样本让正负比例接近 1:1。这种做法在逻辑回归这类对类别先验敏感的模型上确实能提升召回但它有一个致命缺陷复制不产生新信息。模型看到的少数类样本点还是那几个决策边界只会向多数类方向平移而不会变得更精细。更糟的是如果少数类内部本身有子簇结构复制会让模型过度拟合到那几个被反复复制的点上导致在真实少数类分布的其他区域表现更差。SMOTE 的设计动机就在这里它假设少数类样本在特征空间中不是孤立的点而是分布在某个连续流形上。既然流形连续那么两个少数类样本之间的连线上的点大概率也属于少数类。于是它用 k 近邻找到每个少数类样本的邻居在样本与邻居的连线上随机取点生成新样本。这个假设在多数实际场景中近似成立比如信用欺诈检测中欺诈行为的特征组合、医学图像中病灶区域的纹理特征都具有一定的局部连续性。2.2 k 近邻选择谁有资格当“插值参考”SMOTE 的第一步是为每个少数类样本找到它的 k 个最近邻。这里的“最近”通常用欧氏距离度量但在 matlab 实现中距离计算直接决定了后续插值的质量。常见的实现思路是先提取所有少数类样本构成一个矩阵X_minority然后计算每个样本与其他所有少数类样本的成对距离。matlab 的pdist2函数可以一次性算出距离矩阵但要注意内存开销——如果少数类样本数超过几千距离矩阵会迅速膨胀。% 假设 X_minority 是少数类样本矩阵每行一个样本 % k 是近邻数通常取 5 k 5; num_minority size(X_minority, 1); % 计算成对欧氏距离 dist_matrix pdist2(X_minority, X_minority); % 对每一行排除自身距离为0取前 k 个最小距离的索引 [~, sorted_idx] sort(dist_matrix, 2); neighbor_idx sorted_idx(:, 2:k1); % 跳过第1列自身这段代码的关键在于sorted_idx(:, 2:k1)。排序后第一列是样本自身距离为 0必须跳过。如果忘了这一步插值时会用样本和自己做插值生成的就是原样本本身等于没做 SMOTE。另一个容易翻车的地方是距离度量如果特征量纲差异大欧氏距离会被大量纲特征主导导致近邻选择完全偏离。常见的做法是在 SMOTE 之前做标准化但 matlab 的 SMOTE 实现通常不内置这一步需要手动处理。2.3 插值生成随机数背后的边界控制找到近邻后SMOTE 在样本与每个近邻的连线上随机取一个点。具体公式是x_new x_i rand(0,1) * (x_neighbor - x_i)其中rand(0,1)是 0 到 1 之间的随机数。这个随机数决定了新样本在连线上的位置接近 0 时偏向原样本接近 1 时偏向邻居。matlab 实现中这一步通常用循环或向量化完成。% 假设 neighbor_idx 是 num_minority x k 的矩阵 % 为每个少数类样本生成 1 个合成样本可根据需要调整生成数量 num_synthetic num_minority; % 生成数量等于少数类样本数 synthetic_samples zeros(num_synthetic, size(X_minority, 2)); for i 1:num_synthetic % 随机选一个少数类样本 idx randi(num_minority); % 随机选它的一个近邻 nn neighbor_idx(idx, randi(k)); % 随机插值系数 lambda rand(); % 生成合成样本 synthetic_samples(i, :) X_minority(idx, :) lambda * (X_minority(nn, :) - X_minority(idx, :)); end这里有几个设计取舍值得注意。第一randi(k)表示每个近邻被选中的概率相同但实际中距离更近的邻居可能更应该被选中有些变体如 Borderline-SMOTE会调整这个概率。第二lambda rand()是均匀分布意味着合成样本在连线上均匀分布但有些实现会用高斯分布让样本更集中在原样本附近。第三生成数量num_synthetic通常设为少数类样本数使正负比例接近 1:1但具体设多少取决于你的目标——如果只是想让模型“看到”更多少数类形态生成 50% 就够了如果少数类极度稀缺可能需要生成 200% 甚至更多。2.4 合成样本的标签与后续处理合成样本的标签直接继承少数类标签这一点没有歧义。但合成之后的数据集需要重新划分训练集和验证集而且划分必须在 SMOTE 之前做。如果先 SMOTE 再划分合成样本可能同时出现在训练集和验证集中导致验证集上的性能虚高。这是实际项目中最常见的翻车点之一验证集里混入了训练集样本的“插值亲戚”模型在验证集上看起来很好上线后直接崩盘。正确的流程是先划分训练集和验证集只在训练集上做 SMOTE验证集保持原始分布。这样验证集才能真实反映模型在未见过数据上的表现。matlab 实现中这一步通常需要手动控制因为 SMOTE 函数本身只负责生成样本不负责数据划分。3. matlab 实现中的关键细节向量化、内存与随机种子3.1 向量化加速从双重循环到矩阵运算上面的插值代码用了 for 循环在 matlab 中这是性能瓶颈。当少数类样本数达到几万时循环会慢到无法接受。向量化的思路是一次性为所有样本生成随机近邻索引和随机插值系数然后用矩阵运算完成插值。% 向量化版本 num_synthetic num_minority; % 为每个合成样本随机选一个原样本 base_idx randi(num_minority, num_synthetic, 1); % 为每个合成样本随机选一个近邻从 base_idx 对应的近邻里选 nn_offset randi(k, num_synthetic, 1); % 获取近邻索引需要把 base_idx 和 nn_offset 映射到 neighbor_idx 矩阵 nn_idx neighbor_idx(sub2ind(size(neighbor_idx), base_idx, nn_offset)); % 随机插值系数 lambda rand(num_synthetic, 1); % 矩阵运算生成合成样本 synthetic_samples X_minority(base_idx, :) lambda .* (X_minority(nn_idx, :) - X_minority(base_idx, :));这段代码的核心是sub2ind它把二维索引(base_idx, nn_offset)转换成线性索引从而一次性取出所有近邻。lambda .* (...)利用了 matlab 的广播机制每一行乘以对应的插值系数。向量化后生成十万级合成样本通常在一秒内完成而循环版本可能需要几十秒。但向量化也有代价内存占用。X_minority(base_idx, :)会复制一份原样本矩阵如果少数类样本本身很大内存可能吃紧。常见的折中方案是分块处理比如每次生成 10000 个合成样本循环几次完成。3.2 随机种子可复现性的双刃剑matlab 的随机数生成器默认以当前时间为种子这意味着每次运行 SMOTE 生成的合成样本都不同。对于调试和对比实验这是灾难——你无法判断性能变化是来自模型改进还是随机样本的差异。解决办法是在 SMOTE 之前固定随机种子rng(42); % 固定种子保证每次生成相同的合成样本但固定种子也有风险如果种子选得不好生成的合成样本可能恰好集中在某些区域导致模型在验证集上表现异常。更稳妥的做法是跑多次不同种子的实验取平均性能。我一般会跑 5 次种子分别设为 1、2、3、4、5然后看均值和方差。如果方差很大说明 SMOTE 对随机性太敏感可能需要调整 k 值或生成数量。3.3 k 值的选择5 是万能解吗k 近邻数 k 是 SMOTE 最重要的超参数。k 太小插值范围窄合成样本多样性不足k 太大可能选到距离很远的邻居插值出来的样本落在多数类区域变成噪声。常见的默认值是 5但这并不是万能解。如果少数类样本本身很少比如只有几十个k5 可能已经覆盖了大部分少数类样本插值范围过大。这时应该减小 k比如 k3 甚至 k2。如果少数类样本较多且分布均匀k5 到 k10 都可以。判断方法是观察合成样本与多数类样本的重叠程度。如果合成样本大量落在多数类区域说明 k 太大或插值系数范围太宽。matlab 实现中k 值通常作为参数传入但很多开源实现没有做自适应 k 值。一个实用的技巧是先用 k5 跑一遍然后用简单的分类器如 kNN检查合成样本的类别纯度——如果合成样本的 k 近邻里多数类占主导说明这些合成样本质量差需要调整。4. 避坑指南SMOTE 在实际项目中的五个翻车现场4.1 现象验证集性能飙升上线后暴跌原因先做了 SMOTE 再划分训练集和验证集导致验证集中混入了合成样本。合成样本是从训练集样本插值出来的与训练集样本高度相关模型在验证集上相当于“见过”这些样本的亲戚。解决严格先划分数据集只在训练集上做 SMOTE。验证集和测试集必须保持原始分布。如果数据量允许最好用独立的测试集做最终评估。4.2 现象合成样本全是噪声模型性能反而下降原因少数类样本本身分布不连续或者特征空间中存在大量离群点。SMOTE 在离群点和正常点之间插值生成的样本落在多数类区域标签却是少数类直接污染训练集。解决先做离群点检测剔除少数类中的极端离群点再做 SMOTE。或者改用 Borderline-SMOTE它只对边界附近的少数类样本做插值避免在离群点周围生成样本。4.3 现象高维数据上 SMOTE 完全失效原因在高维空间中欧氏距离失去区分度所有样本对的距离都趋于相近k 近邻选择变得随机。这是维度灾难的典型表现。解决先做降维如 PCA 或 t-SNE在低维空间做 SMOTE再映射回原空间。或者改用基于特征子空间的 SMOTE 变体在随机选择的特征子集上计算距离。4.4 现象类别不平衡比例没变模型还是偏向多数类原因SMOTE 生成样本后没有调整模型的类别权重或决策阈值。很多模型如 SVM、逻辑回归默认假设类别均衡即使训练集平衡了模型的决策边界仍然偏向多数类。解决SMOTE 之后配合使用类别权重调整或阈值移动。比如在逻辑回归中设置class_weightbalanced或者在预测时调整概率阈值让少数类的召回率提升。4.5 现象生成样本导致过拟合训练集准确率 99%测试集 60%原因生成数量过多合成样本远多于原始少数类样本模型过度拟合到合成样本的局部模式。或者 k 值太小合成样本多样性不足模型看到的少数类形态仍然单一。解决控制生成数量通常生成到正负比例 1:1 或 1:2 即可不要盲目生成到 1:10。同时增大 k 值或使用 SMOTE 的变体如 ADASYN让合成样本更分散。5. 设计取舍SMOTE 的边界与替代思路SMOTE 的核心假设是“少数类样本在局部线性可插值”这个假设在多数场景下近似成立但它不是万能药。当少数类样本极度稀缺比如只有个位数、或者特征空间高度非线性时SMOTE 的合成样本可能完全偏离真实分布。这时候更好的选择可能是代价敏感学习直接调整损失函数、集成方法如 EasyEnsemble、或者数据增强针对图像、文本等非结构化数据。matlab 版本的 SMOTE 实现最大的价值在于它的可读性和可修改性。你可以清楚地看到每一步在做什么然后根据具体问题调整。比如如果你发现合成样本总是落在多数类区域可以修改插值系数的分布让它更集中在原样本附近如果你发现 k 近邻选择被某个特征主导可以在距离计算前做特征加权。我自己的习惯是每次用 SMOTE 之前先画一张少数类样本的二维投影图用 PCA 或 t-SNE肉眼判断少数类是否连续。如果图上少数类明显分成几个孤立的簇SMOTE 大概率会翻车这时候我会先做聚类然后在每个簇内分别做 SMOTE。这个习惯帮我省了很多次“调参调到怀疑人生”的时间。从那以后我每次做不平衡数据项目都强制走一遍“先划分、再可视化、后 SMOTE”的流程再也没出现过验证集虚高的情况。希望帮到你。本文还有配套的精品资源点击获取