【DL】模型微调方法总结

第一类：全参数流派 (Full Fine-Tuning Optimized FFT)这是最原始、最强力，但也最奢侈的方法。1. 全参数微调 (Standard FFT)数学机制：对预训练模型f(x;θ)f(x; \theta)f(x;θ)，在下游任务数据集上通过最小化损失函数L\mathcal{L}L，利用反向传播更新所有参数θ\thetaθ。显存账本：微调一个 7B 模型（16-bit 存储约为 14GB），你需要：模型参数：14GB梯度 (Gradients)：14GB优化器状态 (Optimizer States, 如 Adam)：约 28GB（FP32 存储的一阶和二阶动量）激活值 (Activations)：随 Batch Size 和序列长度激增。总计：至少需要 60-80GB 显存，这还没算中间计算开销。评价：它能从底层改变模型的表征逻辑。如果你要做的是跨度极大的任务（例如让一个纯语言模型学会理解 3D 骨架坐标），全参数微调通常是基准。2. GaLore (Gradient Low-Rank Projection)核心逻辑：GaLore 发现，虽然权重矩阵WWW是满秩的，但其梯度矩阵GGG在训练过程中其实是低秩的。实现方式：它并不像 LoRA 那样改变模型结构，而是在更新权重时，将梯度GGG投影到两个低秩矩阵PPP和QQQ构成的子空间中：G~=PTGQ\tilde{G} = P^T G QG~=PTGQ。优势：通过只在低秩空间维护优化器状态，它可以节省高达 60%-80% 的优化器显存。这意味着 24G 显存的单卡也能跑全参数更新。第二类：参数高效适配流派 (PEFT - LoRA 家族)PEF