小菜鸟

java菜鸟号正在起航

为什么模型聊着聊着就忘了你的要求?答案在注意力机制里

做 Agent 开发的人多半遇到过这样的场景。系统提示词里明明写了输出必须是 JSON,前几轮还好好的,上下文一长,模型就开始自由发挥。或者反过来,RAG 检索回来十段文档,只有一段和问题相关,模型却准确地从那一段里抽出了答案。

这两件事一个失败一个成功,背后是同一套机制在起作用,就是注意力。模型并没有平等地对待上下文里的每个词,它一直在判断当前该关注谁、从谁那里取信息。判断对了就是精准提取,判断偏了就是遗忘设定。

所以理解注意力,对不写算法的人也有直接收益。上下文工程里那些经验法则,比如重要指令放开头或结尾、长对话要做摘要压缩,都能从这里找到原因。微调时 LoRA 配置里那几个投影层到底在改什么,答案也在这里。

这篇文章不推公式。我们先用一个图书馆的例子看懂一次检索怎么发生,再看每个词如何互相检索,然后讲多头和掩码这两个工程设计,最后落到长上下文和微调的实际问题上。

QKV,一次图书馆式的检索

为了叙述方便,下文的词和 token 不做严格区分。

走进图书馆时你心里带着一个需求,想找讲 Python 爬虫的书,这个需求就是 Query。每本书的书脊上贴着分类标签,写着计算机网络、数据采集之类的关键词,这是 Key,它存在的意义就是被匹配。书里真正的正文是 Value,你最终要带走的东西。

检索分三步。先拿需求去和每本书的标签比对,算出相关度,这一步对应 QK 点积。点积不神秘,它同时受方向对齐和向量模长影响,可以粗略理解为对齐程度乘以幅度。标签和需求越对得上,分数通常越高。key 的模长也是训练出来的,模型可以借它调节某个词有多容易被注意到。然后由 softmax 把分数换算成百分比,所有书加起来等于一。最后按百分比把各本书的内容混合起来,这就是加权求和。

注意这里和真实图书馆最大的区别。现实中你借走一本书就离开,模型却是把整个图书馆都读了一遍,只是每本书读的份额不同。相关度百分之七十的书贡献七成内容,百分之零点一的书也贡献了那么一丝。没有谁被彻底扔掉,只有谁被重点照顾。

这个区别正好解释了注意力和 RAG 的关系。RAG 是硬检索,top k 之外的文档根本进不了模型。注意力是软检索,对标准全局注意力而言,进入上下文且可见的内容都参与混合,只是权重不同。这也意味着无关内容并非完全无害,权重再低也在稀释有效信息,这是长上下文效果退化的原因之一。

阅读全文 »

从 RNN 到 LSTM:有效上下文窗口受限的问题

一、RNN 为什么记不住长序列

RNN 处理序列数据时,靠一个隐藏状态 $h_t$ 往下传。每读入一个新输入,就把上一时刻的隐藏状态和当前输入揉在一起,生成新的状态。

我最早调 RNN 的时候,序列一过 50 步,loss 就基本不动了,当时还以为是学习率的问题。后来才明白,这是梯度传不回来了。

训练的时候,如果序列很长,比如要预测一段话的最后一个词,损失函数的梯度得沿着时间步一路往回传。这时候问题就来了:梯度每往回走一步,都要乘上同一个循环权重矩阵。

粗略地说,如果这个矩阵的谱半径(最大特征值的绝对值)小于 1,连乘几十次之后,梯度就会指数级衰减,直接趋近于 0。这就是梯度消失。早期输入对最终损失的影响根本传不回来,模型自然学不到长距离依赖。如果谱半径大于 1,梯度又会指数级膨胀,导致梯度爆炸,训练直接崩掉。

而且,RNN 用的 tanh 激活函数,导数最大值只有 1,在饱和区更是接近 0。梯度往回传时,除了乘权重矩阵,还得乘上激活函数的导数。这两者一叠,长序列基本没法学。

二、隐藏状态的更新方式加剧了问题

RNN 的隐藏状态更新公式很简单:上一时刻的状态和当前输入分别做线性变换,加起来,再整体过一遍 tanh。

这意味着,旧信息每往前走一步,都要被权重矩阵重新变换一次,再被 tanh 压缩到 (-1, 1) 之间。序列越长,早期的信号被反复揉捏、挤压的次数就越多。几十步之后,原本清晰的输入信息早就混在一堆饱和的数值里,分不出来了。

而且这个更新过程没有任何筛选机制。不管前面的词是关键的实体还是无关的停用词,全都被无差别地压进同一个隐藏状态里。信息越积越多,重要的线索反而被淹没了。

三、LSTM 的解法:细胞状态与门控

LSTM 没有继续在隐藏状态的更新上死磕,而是额外引入了一条细胞状态 $c_t$。

第一次看 LSTM 公式,我也没觉得那个加法有多特别,直到自己推了一遍梯度才明白。

细胞状态的更新公式是这样的:

当前细胞状态 = 遗忘门 × 旧细胞状态 + 输入门 × 候选新状态

反向传播时,沿细胞状态这条主干回传,梯度不需要乘权重矩阵,也不需要过 tanh 的导数,连乘因子只剩每一时刻的遗忘门 $f_t$。只要网络学到让 $f_t$ 接近 1,梯度就能几乎不衰减地传回几十步甚至上百步之前。

至于三个门,分工很明确:遗忘门管旧信息丢多少,输入门管新信息写多少——这两个直接动细胞状态。输出门不碰细胞状态,它只决定这一时刻从细胞状态里读多少出来,当作隐藏状态交给下游。

阅读全文 »

大模型微调与推理的底层防线:从架构演变看激活、归一化与残差流

从 GPT 到 LLaMA,再到如今的 Qwen,开源大模型的架构一直在变。以前大家用 ReLU 和 LayerNorm,现在清一色换成了 SwiGLU 和 RMSNorm。以前归一化放在残差连接之后,现在全挪到了前面。

作为 Agent 开发者或微调工程师,我们往往只需调用接口或加载权重,似乎不需要关心这些底层的变动。但现代大模型之所以抛弃传统组件,采用这套组合拳,完全是为了在极深网络中保住极其脆弱的梯度,让海量参数能够稳定训练。理解了这套底层逻辑,你才能明白为什么微调时参数稍微动一下就崩盘,为什么大模型的内部表示对 Agent 开发至关重要。这篇文章,我们就来扒一扒大模型的底层防线。

一、激活函数的内卷:从粗暴截断到门控审核

如果把大模型比作一个信息处理工厂,激活函数就是流水线上的质检员,决定哪些信息可以流向下一层。

早期的 ReLU 奉行一刀切:大于 0 放行,小于 0 丢弃。计算快,但有个致命弱点。一旦某个特征被判定为负数并丢弃,它的梯度永远是 0,这个神经元彻底死亡,后续训练中再也无法恢复。

GELU 解决了这个问题。它从概率论出发,不再硬切负数,而是根据特征的重要性做概率上的平滑过渡。早期的 BERT 和 GPT 系列都靠它获得了更细腻的表达。

到了今天,LLaMA、Qwen 等现代开源大模型不约而同换上了 SwiGLU。SwiGLU 引入了双通道门控机制:一路信息通道负责提取特征,通过 Swish 激活函数做非线性变换;一路门控通道保持线性,只负责计算权重。两路结果相乘,门控通道决定了信息通道的内容被放行多少。相比 ReLU 的一刀切和 GELU 的柔性打分,SwiGLU 让模型能根据上下文动态调节每个特征的通过比例,抑制无关信息的能力更强。

阅读全文 »

别再喂干净数据了:如何用检索上下文噪声注入提升模型的抗干扰能力

第一部分 引言:被干净数据惯坏的模型

很多 Agent 开发者和微调工程师都经历过这样的落差。模型在测试集上表现堪称完美,可一旦接入真实业务,面对检索系统召回的无关文档、用户提示词中夹带的干扰信息,Agent 要么被带偏产生幻觉,要么强行编造答案。

我们管这种现象叫模型的娇气病。不过得先说清楚,娇气病其实包含两种不太一样的问题。一种是格式娇气,模型对指令模板过拟合,换个句式就崩,这属于任务多样性不足的范畴。另一种是上下文娇气,模型面对检索召回的噪声信息时缺乏鲁棒性。这两个问题的成因和解法差别挺大,这篇文章只聊后者,也就是怎么通过检索上下文噪声注入,让模型在脏数据里不至于当场崩盘。

第二部分 背景:上下文鲁棒性与两种核心能力

标准的指令微调里,训练数据往往只包含干净、准确的上下文。模型在这种温室环境里训练久了,很容易形成一种脆弱的依赖:上下文干净就能正确回答,一旦混入噪声,决策边界就塌了。

要解决这个问题,模型需要同时具备两种能力。第一种是拒答能力,上下文中完全没有可用信息时,模型能诚实地说不知道。第二种是选择性提取能力,上下文中同时有干净信息和噪声干扰时,模型能从噪声里把关键信息挑出来,而不是直接放弃或者干脆不看上下文、凭内部参数硬答。

阅读全文 »

正则化工程实战:从L1、Dropout到AdamW的避坑指南

在CIFAR-10上用ResNet-18做对照实验时,我们发现相同weight_decay下Adam+L2的测试准确率比AdamW低2个百分点以上,且输出层权重范数大了约3倍。这不是超参没调好,而是正则化工具的行为边界被忽视了。本文聚焦L1/L2、Dropout、Weight Decay和组合策略在真实项目中的行为差异与API陷阱,所有内容均基于可复现代码与主流模型实证。

L1 vs L2:梯度行为决定工程选择

L2平方惩罚项λ‖w‖²关于w的梯度是线性的(2λw),对自适应学习率算法友好。L1在w≠0处梯度为λ·sign(w),在w=0处不可微,次微分是区间[-λ, λ],导致标准SGD/Adam在零点附近震荡难收敛。近端算法能稳定处理L1,正是利用了次微分的集合性质。除非需要自动特征选择,否则默认选L2。

PyTorch中Adam/SGD的weight_decay实现的是L2正则(加到梯度上);AdamW的weight_decay是解耦权重衰减,详见后文。真正的L1必须手动加到loss中。注意SGD的weight_decay加到梯度上是wd·w,对应L2系数λ时梯度为2λw,两者差系数2,迁移超参时需留意。

阅读全文 »
0%