正则化工程实战:从L1、Dropout到AdamW的避坑指南
正则化工程实战:从L1、Dropout到AdamW的避坑指南
在CIFAR-10上用ResNet-18做对照实验时,我们发现相同weight_decay下Adam+L2的测试准确率比AdamW低2个百分点以上,且输出层权重范数大了约3倍。这不是超参没调好,而是正则化工具的行为边界被忽视了。本文聚焦L1/L2、Dropout、Weight Decay和组合策略在真实项目中的行为差异与API陷阱,所有内容均基于可复现代码与主流模型实证。
L1 vs L2:梯度行为决定工程选择
L2平方惩罚项λ‖w‖²关于w的梯度是线性的(2λw),对自适应学习率算法友好。L1在w≠0处梯度为λ·sign(w),在w=0处不可微,次微分是区间[-λ, λ],导致标准SGD/Adam在零点附近震荡难收敛。近端算法能稳定处理L1,正是利用了次微分的集合性质。除非需要自动特征选择,否则默认选L2。
PyTorch中Adam/SGD的weight_decay实现的是L2正则(加到梯度上);AdamW的weight_decay是解耦权重衰减,详见后文。真正的L1必须手动加到loss中。注意SGD的weight_decay加到梯度上是wd·w,对应L2系数λ时梯度为2λw,两者差系数2,迁移超参时需留意。
下面用高维稀疏表格数据示例展示正确用法:
class RegularizedLinear(nn.Module):
def __init__(self, input_dim, l1_lambda=0.0, l2_lambda=0.0):
super().__init__()
self.linear = nn.Linear(input_dim, 1)
self.l1_lambda = l1_lambda
self.l2_lambda = l2_lambda
def forward(self, x):
return self.linear(x)
def reg_loss(self):
# L1/L2必须手动计算,避免与optimizer.weight_decay混淆
l1 = self.l1_lambda * self.linear.weight.abs().sum()
l2 = self.l2_lambda * (self.linear.weight ** 2).sum()
return l1 + l2
# 训练循环关键片段
model = RegularizedLinear(X_processed.shape[1], l1_lambda=1e-4)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) # 不加weight_decay
for epoch in range(100):
pred = model(X_tensor)
loss = nn.MSELoss()(pred, y_tensor) + model.reg_loss()
optimizer.zero_grad()
loss.backward()
optimizer.step()
这里有几个容易忽略的实现细节:L1必须手动加到loss;正则项单独封装便于消融;判断稀疏性时浮点运算下用1e-6截断比写死0更符合实际。
特征维度远大于样本数且怀疑冗余时用L1;特征强共线性时用Elastic Net(α=0.5起步);深度网络中间层用L2;预训练微调用AdamW的Weight Decay;输出层防过拟合优先数据增强而非正则。
Dropout:从集成近似到架构适配
Dropout的训练过程等价于从指数级子网络中随机采样,推理时通过权重缩放近似集成平均,而非精确贝叶斯模型平均。Transformer时代LayerNorm、Residual和Attention本身已提供强正则化,额外叠加Dropout收益递减。
Transformer中Dropout的使用有几个值得注意的变化。Attention Dropout作用于softmax后的权重,比率通常0.0~0.1;FFN Dropout作用于中间层激活,比率可达0.0~0.2,两者不应设为相同值。Pre-Norm架构下可优先尝试零dropout基线,仅在验证集明确过拟合时才增加。预训练用中等dropout(0.1),微调用更低值(0.0~0.05)或直接关闭。
主流模型配置可作为调参起点:BERT-base统一0.1;GPT-2原始论文所有规模统一0.1,部分小模型复现(如nanoGPT)采用0.0;LLaMA-7B全程0.0;ViT-B/16原始论文整体dropout 0.1(含attention与MLP),某些实现仅FFN设0.1。LLaMA的零dropout是Pre-Norm大模型的普遍趋势。
规范写法中Dropout必须在残差加法之前(x + dropout(y)而非dropout(x+y)),否则残差连接会被随机阻断。下面这两个坑至今仍有项目踩中:BatchNorm + Dropout顺序必须是BN在前,否则训练推理统计量不一致;推理时忘记model.eval()会导致silent failure,建议在evaluation入口加assert断言。
Weight Decay ≠ L2:AdamW解耦的意义
用Adam系优化器时优先选AdamW。当在Adam的loss中加入L2正则时,正则项梯度2λw会进入一阶矩和二阶矩估计,被自适应学习率1/√v差异化缩放:大梯度参数的正则被削弱,小梯度参数的正则被放大。AdamW将权重衰减从梯度更新中分离,使其不再受v影响,恢复对所有参数一致的正则强度。
在我们的一次对照实验中(CIFAR-10 + ResNet-18,50 epoch,标准数据增强),相同weight_decay=5e-4下Adam+L2测试准确率86.1%,AdamW为88.3%,train/test gap更小。不同初始化、训练轮数或数据增强策略下绝对数值可能有差异,但Adam+L2正则被削弱的趋势在多次重复实验中稳定出现。
超参实操有参考范围:CNN微调1e-4~5e-4,从头训练5e-4~1e-3;Transformer预训练1e-2~3e-2,微调1e-3~5e-3。关于联动规则,wd与lr常同步调整但并非普遍定律;cosine退火时多数AdamW配方采用constant wd,也有方案对wd做退火,需按任务验证。warmup期间wd是否同步增长存在分歧:部分自定义scheduler会显式实现,但HuggingFace Trainer默认并不这样做(其weight_decay是固定超参,scheduler仅调度lr),需自行实现。
还有一个容易被忽视的细节:bias和LayerNorm权重不应被正则化。手写训练循环时必须分组设置param_groups,HuggingFace Trainer等框架已自动处理此逻辑。
组合策略:反模式案例与速查清单
错误的正则组合比不用正则更危险。下面几个真实案例覆盖了最常见的组合陷阱。
某图像分类项目ResNet-50 + BN + Dropout,验证集准确率低2%且loss波动。根因是Dropout写在BN之前,污染了归一化统计量。修正为Conv → BN → ReLU → Dropout后性能恢复。教训:归一化层必须放在Dropout之前。
BERT微调情感分类时weight_decay=0.01下验证F1持续下降,增大wd反而更糟。这可能是因为Adam下wd被梯度方差扭曲,也可能是wd=0.1本身过大导致欠拟合。改用AdamW并保持wd=0.01后train/val gap从8%缩至2%,说明主因是优化器选择,但即使换了AdamW,wd量级仍需根据任务调整。
2000样本表格任务叠加L1+Dropout+WD,R²从0.65降至0.45。移除所有正则确认数据有信号后,扩充数据至8000条,仅保留AdamW+WD,R²达0.72。正则调参陷入僵局时,回到数据和模型规模审视往往更有效。正则化能帮你走最后10%,但不能替你走完前90%。
完成训练后可逐项确认:Adam系是否选了AdamW;bias和归一层是否排除了wd;Dropout是否在归一层之后;Transformer中attn/ffn dropout是否分别设置;Pre-Norm是否试过零dropout基线;推理是否有eval断言;L1是否手动加到loss。