深度神经网络训练中的权重初始化与优化策略

1. 权重初始化：深度神经网络训练的第一块基石

在深度神经网络训练中，权重初始化绝不是简单的随机赋值那么简单。我第一次训练CNN时，曾天真地认为用标准正态分布初始化权重就万事大吉，结果模型完全无法收敛。后来才明白，好的初始化方案需要同时考虑前向传播的信号强度和反向传播的梯度稳定性。

1.1 Xavier初始化的数学之美

Xavier初始化（又称Glorot初始化）的核心思想是让各层输出的方差保持一致。具体实现时，对于使用sigmoid或tanh激活函数的网络，我们采用以下公式：

# Xavier/Glorot初始化实现 scale = np.sqrt(2.0 / (n_input + n_output)) # 对于ReLU使用2.0，其他激活函数用1.0 weights = np.random.randn(n_input, n_output) * scale

这个公式的推导过程很有意思：假设输入x和权重w都是零均值，且相互独立，那么输出的方差Var(y) = n_input * Var(x) * Var(w)。为了让输入输出方差相同，就需要Var(w) = 1/n_input。同时考虑反向传播时，还需要Var(w) = 1/n_output，于是取两者的调和平均。

实践提示：当使用ReLU激活时，由于它会让一半的神经元输出为0，实际方差会减半，因此需要将scale乘以√2，这就是He初始化的由来。

1.2 不同激活函数对应的初始化策略

我在图像分类项目中对比过不同初始化方法的效果（使用相同网络结构和学习率）：

特别值得注意的是，当使用LeakyReLU时，最好将负斜率系数(如0.01)也考虑进初始化公式中。我在某次Kaggle比赛中就因为忽略这点，导致前几个epoch几乎没有任何学习进展。

2. 优化策略：从SGD到自适应方法的演进之路

2.1 动量法：给梯度下降加上"惯性"

传统的SGD就像在崎岖山路行走的人，每步都只考虑当前脚下的坡度。而动量法(Momentum)则模拟了物理中的惯性现象：

# Momentum更新规则 v = beta * v - learning_rate * grad param += v

其中beta通常取0.9。这相当于给优化过程增加了一个"记忆"，使参数更新方向更加平滑。我在训练ResNet时对比发现，使用momentum后：

• 训练初期收敛速度提升约40%
• 在损失平面较平坦区域能更快穿越
• 对学习率的敏感度降低

2.2 Adam优化器的实践细节

Adam结合了动量法和RMSProp的优点，但有几个关键参数需要特别注意：

• β₁（默认0.9）：控制梯度一阶矩估计的衰减率
• β₂（默认0.999）：控制梯度二阶矩估计的衰减率
• ε（默认1e-8）：防止除零的小常数

# Adam更新规则 m = beta1*m + (1-beta1)*grad v = beta2*v + (1-beta2)*(grad**2) param -= lr * m / (np.sqrt(v) + eps)

在NLP任务中，我发现当训练数据非常稀疏时（如某些词很少出现），将β₁调小到0.8-0.85可以带来更好的效果。这是因为稀疏特征的梯度估计需要更快的更新。

3. 学习率调优：模型训练中的"油门控制"

3.1 学习率预热(Warmup)的必要性

在Transformer等大模型训练中，学习率预热几乎是标配。我的实验数据显示：

• 没有warmup：前1000步损失波动剧烈
• 线性warmup：训练稳定性显著提升
• cosine warmup：最终性能最好但实现复杂

一个简单的线性warmup实现：

def get_lr(current_step, warmup_steps, base_lr): return base_lr * min(current_step / warmup_steps, 1.0)

3.2 周期性学习率(Cyclical LR)的妙用

在图像超分辨率任务中，我发现使用三角周期性学习率（范围1e-5到1e-3）可以：

• 跳出局部最优
• 无需精细调整初始学习率
• 平均节省30%训练时间

具体设置建议：

• 每个周期长度：2-10个epoch
• 最大学习率：最小学习率的3-10倍
• 配合模型检查点保存最佳结果

4. 实战中的复合技巧与避坑指南

4.1 权重初始化与批归一化的协同

当使用BatchNorm时，初始化策略可以更激进些。因为BN会标准化激活值，所以权重的大小不再那么关键。这时可以：

• 适当增大初始化范围
• 配合更高的初始学习率
• 减少对初始化方法的依赖

但要注意：BN在small batch size下效果会变差，这时可能需要回归到更谨慎的初始化策略。

4.2 梯度裁剪的阈值选择

在训练LSTM语言模型时，梯度爆炸是常见问题。我的经验法则是：

• 先观察前几批次的梯度范数
• 设置阈值为最大观察值的1.5-2倍
• 对不同的参数组可以设置不同的阈值

# 梯度裁剪实现示例 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)

4.3 优化器状态的内存优化

对于大模型，优化器状态可能占用大量显存。几种节省内存的方法：

• 使用Adafactor替代Adam（节省约30%）
• 对嵌入层使用单独的优化器
• 采用混合精度训练

在BERT微调任务中，通过优化器状态管理，我成功将显存占用从18GB降到了12GB。