大模型微调与推理的底层防线:从架构演变看激活、归一化与残差流

大模型微调与推理的底层防线:从架构演变看激活、归一化与残差流

从 GPT 到 LLaMA,再到如今的 Qwen,开源大模型的架构一直在变。以前大家用 ReLU 和 LayerNorm,现在清一色换成了 SwiGLU 和 RMSNorm。以前归一化放在残差连接之后,现在全挪到了前面。

作为 Agent 开发者或微调工程师,我们往往只需调用接口或加载权重,似乎不需要关心这些底层的变动。但现代大模型之所以抛弃传统组件,采用这套组合拳,完全是为了在极深网络中保住极其脆弱的梯度,让海量参数能够稳定训练。理解了这套底层逻辑,你才能明白为什么微调时参数稍微动一下就崩盘,为什么大模型的内部表示对 Agent 开发至关重要。这篇文章,我们就来扒一扒大模型的底层防线。

一、激活函数的内卷:从粗暴截断到门控审核

如果把大模型比作一个信息处理工厂,激活函数就是流水线上的质检员,决定哪些信息可以流向下一层。

早期的 ReLU 奉行一刀切:大于 0 放行,小于 0 丢弃。计算快,但有个致命弱点。一旦某个特征被判定为负数并丢弃,它的梯度永远是 0,这个神经元彻底死亡,后续训练中再也无法恢复。

GELU 解决了这个问题。它从概率论出发,不再硬切负数,而是根据特征的重要性做概率上的平滑过渡。早期的 BERT 和 GPT 系列都靠它获得了更细腻的表达。

到了今天,LLaMA、Qwen 等现代开源大模型不约而同换上了 SwiGLU。SwiGLU 引入了双通道门控机制:一路信息通道负责提取特征,通过 Swish 激活函数做非线性变换;一路门控通道保持线性,只负责计算权重。两路结果相乘,门控通道决定了信息通道的内容被放行多少。相比 ReLU 的一刀切和 GELU 的柔性打分,SwiGLU 让模型能根据上下文动态调节每个特征的通过比例,抑制无关信息的能力更强。

关于参数量,有一个容易搞混的地方。SwiGLU 多了一个门控矩阵,但总参数量并没有因此膨胀。现代模型在采用 SwiGLU 时,会同步把中间隐藏维度从 4d 缩到约 2.6d,三个矩阵乘下来,总参数量与标准 4d 前馈网络大致相当。本质上是用更窄的隐藏层加门控,替代更宽的隐藏层加单激活。

前馈网络是 Transformer 中参数量最大的子层,在大模型中占据主导地位。做全参数微调或 LoRA 微调时,绝大部分显存消耗就集中在这里。显存有限时,很多开发者选择冻结前馈网络层,只微调注意力机制,原因也在于此。

二、归一化的位置之争:为什么现代大模型都选了 Pre Norm

归一化层是稳压器。大模型动辄几十上百层,数据在传递中容易数值膨胀或塌缩,归一化在每一层把数据拉回稳定分布。但稳压器装在哪里,直接决定了训练的命运。

最早的 Transformer 用 Post Norm:输入信号先和子层输出相加,再做归一化。理论上表征能力更强,因为归一化作用于合流后的完整信号。但实践中,层数一深,梯度穿过归一化层的非线性变换时极容易数值震荡。微调时的典型症状就是:学习率稍微设大一点,损失值剧烈震荡,甚至直接变成无效值。层数越深,越脆弱。

现代大模型几乎全部转向了 Pre Norm:先对输入做归一化,让它平稳通过子层计算,再与原始输入相加。残差连接把原始信号直接旁路到下一层,反向传播时梯度几乎无损地流回浅层,不再受归一化层的非线性干扰。梯度稳定性上,这是实质性的进步。

但 Pre Norm 不是银弹。近两年的研究揭示了一个被长期忽视的代价:Pre Norm 架构下,残差流中的激活值可能在训练早期突然飙升,形成大规模激活现象。目前研究倾向于将其视为一种需要严密监控的现象,这些高幅激活可能作为残差偏置扭曲注意力分布,影响泛化。Pre Norm 并没有消除训练风险,只是把敌人从梯度震荡换成了激活值膨胀。微调时损失发散的可能性依然存在,根因不同而已。

理解了这一点,就不会觉得 Pre Norm 意味着可以随意调大学习率。后面实战建议部分会回到这个话题。

另一个变化:LLaMA 系列把 LayerNorm 换成了 RMSNorm。LayerNorm 做两步,把均值拉到 0,再把方差缩放到 1。RMSNorm 砍掉了均值中心化,只做缩放。在大模型规模下,去掉这一步对效果几乎没有影响,但计算量实打实地降了。推理部署时,每层省一次均值计算,累积起来延迟优化相当可观。分布式训练场景下收益更大,因为省去均值计算的同时也省去了对应的额外通信开销。微调时,更少的中间变量意味着更低的显存峰值。在不损失效果的前提下,一切为计算效率让路,这是现代大模型设计的核心哲学。

三、残差连接:不仅是防梯度消失,更是信息高速公路

残差连接是贯穿大模型始终的信息高速公路。

传统叙事里,残差连接是为了保命。几十上百层的网络,只靠前向传播,信号很容易在层层相乘中消失或爆炸。残差连接在每一层加入一条旁路,让原始输入直接加到输出上。反向传播时,这条旁路提供了一条梯度为恒等映射的直通路径,信号顺畅流向浅层。大模型能越做越深,物理基础就在这里。

但对 Agent 开发者来说,更值得关注的认知是残差流。

把残差连接看作模型内部的一条主干信息流。注意力机制和前馈网络不是各自独立处理信息,而是寄生在这条主干流上的插件。每一层的计算过程,是从残差流中读取信息,处理后写回残差流。

这个视角对实战有直接帮助。微调时,如果破坏了某些浅层的残差流,相当于破坏了整条高速公路的基建,损失值瞬间崩溃。

对 Agent 开发,残差流视角解锁了表征工程这个方向。它的核心思想是围绕残差流做文章:推理时截取中间层向量施加方向向量,读取残差流做探针分析来理解模型内部状态,训练专门的控制向量来引导模型行为。形式不同,但底层逻辑一致:不改变模型权重,直接在残差流上设卡拦截或注入信息。

四、落地建议:给微调和 Agent 开发者的三条避坑指南

理论讲完,落到实操。

第一条,LoRA 目标模块的取舍。 SwiGLU 让前馈网络层在参数规模上占主导,很多开发者做 LoRA 时只微调注意力层的查询投影和值投影,改模型语气或做简单指令遵循够用。但如果要注入新的领域知识,通常绕不开前馈网络的门控投影层、上投影层和下投影层。把 LoRA 加到前馈网络后,为了控制显存往往需要调低秩,而秩的降低会直接削弱知识注入的容量。这是有限资源下的有损取舍,不是无损的显存规避手段。需要根据任务对知识密度的要求,找到秩和显存之间的平衡点。

第二条,Pre Norm 架构下的学习率陷阱。 Pre Norm 把训练风险从梯度震荡转移成了激活值膨胀,风险没有消失。现代开源大模型在 Pre Norm 下,残差流累积的信号本身就很大。微调时不做预热或者学习率设置过大,激活值会在前几百步内悄然膨胀,等到发现损失值异常时往往已经来不及。建议从 1e-5 或 2e-5 起步,配合余弦退火调度器,训练早期密切监控隐藏层激活值的范数变化,不要只盯着损失曲线。

第三条,Agent 开发中的模型内部干预。 Agent 对长系统提示词产生幻觉或忽略规则时,除了反复改提示词,可以从残差流入手。通过探针分析定位模型处理指令的关键层,推理时对这些层的残差向量施加预先训练好的控制方向。比单纯调整外部输入更精准,也更不容易被模型在后续层中洗掉。

写在最后

激活函数决定信息以何种方式被筛选,归一化决定信号以何种姿态被传递,残差连接决定梯度以何种路径被回传。三者共同编织了大模型稳定运行的底层防线。微调崩溃时,Agent 不听话时,除了调超参数和改提示词,值得往架构层看一眼。很多问题,答案藏在那条信息流动的路线里。