为什么模型聊着聊着就忘了你的要求?答案在注意力机制里
为什么模型聊着聊着就忘了你的要求?答案在注意力机制里
做 Agent 开发的人多半遇到过这样的场景。系统提示词里明明写了输出必须是 JSON,前几轮还好好的,上下文一长,模型就开始自由发挥。或者反过来,RAG 检索回来十段文档,只有一段和问题相关,模型却准确地从那一段里抽出了答案。
这两件事一个失败一个成功,背后是同一套机制在起作用,就是注意力。模型并没有平等地对待上下文里的每个词,它一直在判断当前该关注谁、从谁那里取信息。判断对了就是精准提取,判断偏了就是遗忘设定。
所以理解注意力,对不写算法的人也有直接收益。上下文工程里那些经验法则,比如重要指令放开头或结尾、长对话要做摘要压缩,都能从这里找到原因。微调时 LoRA 配置里那几个投影层到底在改什么,答案也在这里。
这篇文章不推公式。我们先用一个图书馆的例子看懂一次检索怎么发生,再看每个词如何互相检索,然后讲多头和掩码这两个工程设计,最后落到长上下文和微调的实际问题上。
QKV,一次图书馆式的检索
为了叙述方便,下文的词和 token 不做严格区分。
走进图书馆时你心里带着一个需求,想找讲 Python 爬虫的书,这个需求就是 Query。每本书的书脊上贴着分类标签,写着计算机网络、数据采集之类的关键词,这是 Key,它存在的意义就是被匹配。书里真正的正文是 Value,你最终要带走的东西。
检索分三步。先拿需求去和每本书的标签比对,算出相关度,这一步对应 QK 点积。点积不神秘,它同时受方向对齐和向量模长影响,可以粗略理解为对齐程度乘以幅度。标签和需求越对得上,分数通常越高。key 的模长也是训练出来的,模型可以借它调节某个词有多容易被注意到。然后由 softmax 把分数换算成百分比,所有书加起来等于一。最后按百分比把各本书的内容混合起来,这就是加权求和。
注意这里和真实图书馆最大的区别。现实中你借走一本书就离开,模型却是把整个图书馆都读了一遍,只是每本书读的份额不同。相关度百分之七十的书贡献七成内容,百分之零点一的书也贡献了那么一丝。没有谁被彻底扔掉,只有谁被重点照顾。
这个区别正好解释了注意力和 RAG 的关系。RAG 是硬检索,top k 之外的文档根本进不了模型。注意力是软检索,对标准全局注意力而言,进入上下文且可见的内容都参与混合,只是权重不同。这也意味着无关内容并非完全无害,权重再低也在稀释有效信息,这是长上下文效果退化的原因之一。
还有一点微调的同学需要知道。Q、K、V 出自同一个词向量,经过三个不同的线性变换,变成三个分身。变换矩阵是训练学出来的,模型自己学会了该拿什么当标签、拿什么当内容。LoRA 常挂的 q_proj 和 v_proj,改的就是其中两个分身的生成方式。
自注意力,每个词既是读者也是藏书
上一节的需求来自图书馆外的你,自注意力把设定改了,需求来自馆藏内部。句子里的每个词同时扮演三个角色,带着需求去检索别人,这是 Q;贴着标签被人检索,这是 K;被匹配上就贡献内容,这是 V。所谓自,就是查询者和被查询者是同一批词。这里划清一个边界,如果查询来自另一个序列,比如翻译时目标句去查源句,那叫交叉注意力,本文不展开。
看这句话,小狗没过马路,因为它太累了。它指谁?人一眼就知道是小狗,因为累这个属性指向动物。模型的做法是,处理到它这个词时,它带着自己的 query 去查全句的 key,这个需求可以理解为,谁是可以累的东西。小狗的 key 里有动物、有生命的成分,点积分数高,马路的 key 里是场所、物体,分数低。softmax 把分数变成权重,示意地说,小狗拿七成,马路拿一成,其余散在别的词上。加权求和之后,它的新向量里装进了七成小狗的信息。这个词被就地改写了,从空泛的代词变成了具体指小狗的表示。
换一个结尾,小狗没过马路,因为它太宽了。它还是那个它,需求没变,变的是馆藏,宽这个属性把高分引向了马路,权重整盘翻转。同一个代词,两句话里得到两种完全不同的向量。词义不是提前存在词典里的,是每一层现场混出来的,这就是上下文表示的由来。顺带一句和 RAG 的关系,向量检索比对的是进模型前的静态表示,注意力算出来的是进模型后的语境表示,所以检索相似不等于模型理解到位。
顺势回答一个遗留问题。Q K V 都出自同一个词向量,何必变换三次?因为被找到和给出去是两回事。爬虫书靠数据采集的标签被检索到,你带走的却是书里的代码,标签和内容天然不同,K 和 V 分开,模型才能分别优化这两件事。Q 和 K 分开也同理,找书的需求和书的标签不是一个东西,硬用一份向量兼任,等于强迫标签必须长得像搜索词。
最后补一个工程视角。刚才只演示了它一个词,实际句子里每个词都在同时做这套检索,一轮下来全部向量同步更新,这就是一层自注意力,几十层叠上去,表示越来越具体。所有位置一起算,transformer 才能吃满 GPU。但这也埋了个隐患,训练时整句话摊在桌上,模型岂不是能偷看后文抄答案?这笔账留到掩码那节再算,眼下先解决另一个问题,一份权重分布其实不够用。
多头注意力,为什么是切分维度
一位馆员只能有一套标签体系,可语言里的关系不止一种。还是那句小狗没过马路因为它太累了,它需要知道指代谁,过需要知道宾语是马路,累需要知道描述的是小狗,每个词还想知道自己前后挨着谁。这些是不同的提问方式,一套标签答不好全部。
单头的困境在于 softmax 只给出一份权重分布,所有需求都得挤在这份分布里互相妥协。指代想给小狗七成,句法想给马路七成,最后混成一个谁都不满意的平均值。多头的做法是请几位馆员并行开工,每人一套自己的标签体系,各自独立检索、各自出一份混合结果,最后把几份结果拼接起来,过一个输出投影重新揉匀。指代那头搬来小狗,句法那头搬来马路,两种信息同时留在向量里,不必互相让步。
要说清楚的是,馆员分工由训练自己长出来,没人预先安排。真实模型里能观察到有的头专盯前一个词,有的头负责把远处的定义搬到当前位置,也有相当多的头功能重复。长上下文里大海捞针的本事,研究发现往往集中在少数几个头上。这类头被剪掉后,长上下文检索能力明显下降,别的头剪掉对这类任务影响小得多。
接着是关键的工程问题,为什么切分维度而不是复制多份完整注意力。算一笔账,一个 7B 模型总维度 4096,32 个头,每头 128 维。你在配置文件里看到的 num_attention_heads 就是这个 32,总维度除以它得到每头维度。注意力分数的计算量约为序列长度的平方乘以头的维度,序列足够长时这一项会成为瓶颈,短序列下线性投影的开销往往更占大头。32 个头各 128 维,加起来正好还是 4096,和一个全维度头在注意力这一项上持平,投影层的参数量也一样。如果每个头都用 4096 维,注意力这一项的开销直接翻 32 倍。
所以切分不是把注意力做小,而是把同一份预算拆成多个视角。这里的相近只指账面账,实际耗时仍会有差异。切分、转置、拼接和访存模式都会影响 kernel 效率,现代融合算子只是把这些开销压低。代价是每个头变窄,能表达的模式变少,头并非越多越好,每头 64 到 128 维是常见折中。
根号 dk,一笔要还的账
前面说点积衡量匹配程度,漏了一件事,点积是把很多项乘起来再相加,维度越高项越多,分数的波动幅度天然越大。就像标签从三个关键词涨到三百个,原始匹配总分自然水涨船高,不同规模的图书馆没法共用一个刻度。
softmax 对绝对数值很敏感。分数普遍偏大时,最高那个会把权重几乎全吃掉,接近硬选择,其余词的梯度趋近于零,训练初期尤其容易卡住学不动。除以根号 dk 就是把波动拉回稳定区间,让 softmax 保持该有的柔和。
这里有个读源码常见的困惑,缩放用的是每个头的维度 128,不是模型总维度 4096,因为点积发生在每个头内部。切分维度和这个缩放本来就是配套的设计。
掩码,给注意力立规矩
先把前面欠的账还上。训练时整句话摊在桌上并行计算,模型确实能偷看后文,而且后果比想象严重。训练任务是每个位置预测下一个词,位置五若能看到位置六,答案就写在输入里,模型很快学会照抄,损失曲线降得漂亮,实际什么本事没练出来。等到生成阶段,未来根本不存在,这套抄法立刻失灵。
因果掩码就是给每位读者立一条规矩,只许查编号不超过自己的藏书。第一个词只能看自己,第二个词能看前两个,最后一个词能看全句,整张权重表呈下三角。实现上无需搬走书,只需在 softmax 之前把越界位置的分数压到极低。数学上常说负无穷,代码里常用一个足够大的有限负数,避开半精度下的数值麻烦,效果上让 softmax 后的份额接近零,剩下的位置自动把权重重新分完,总和仍然是一。反过来若在 softmax 之后硬把权重抹零,总和就不是一,还得再归一化一次,不如在分数层面动手干净。
规矩立住,并行和不作弊就能兼得。一句话 n 个词,一次前向同时练 n 道预测题,每道题可见范围不同,互不穿帮,这是 transformer 训练便宜的关键之一。
另一种掩码管的是真假问题。批量训练要把长短不一的句子补齐到同一长度,补出来的占位符不是真词,是包装泡沫。不处理的话,真实词会把权重分给泡沫,有效信息被白白稀释。padding 掩码把泡沫位置的分数同样压到极低,让它们几乎退出分配。两种掩码常叠加使用,一个管时间方向,一个管内容真假。微调的同学留意一个坑,自己写数据整理逻辑时忘了把 padding 信息通过 attention_mask 传进去,训练不报错,模型只会悄悄变差,这类问题极难排查。
因果规矩还有一份延续到推理期的红利。既然每个词只看左边,先出现的词,它们的 key 和 value 就不会因为后来的词而改变,算一次存下来即可。之后每生成一个新词,只算新词那一份,历史全部复用,这就是 KV cache。
这解释了多轮对话为什么只能往后追加,不能回头改前文。改一个字,从那个位置起的所有缓存全部作废。
各家 API 的 prefix caching 要求公共前缀完全一致,也是同一个道理。把系统提示词、工具定义这些稳定内容放最前,把用户输入和检索结果这些易变内容放最后,缓存才容易命中。省钱规则背后是因果掩码的数学性质。一个常见事故是,在系统提示词里塞实时时间戳,等于每轮亲手击穿缓存。
长上下文的三笔账
缓存能复用是好事,但它不是白拿的。这里算三笔账。
第一笔是显存。先限定口径,下面按标准多头注意力、半精度、单条序列、十进制单位粗算,不含 batch、框架碎片和实现差异。沿用 7B 模型,32 层,隐藏维度 4096。每个 token 每层留下 key 和 value 两份 4096 个数,32 层共 262144 个数,半精度两字节,粗算每 token 约 0.5 MB。一万 token 约 5 GB,十万 token 约 50 GB。模型权重半精度约 14 GB,长序列缓存可能超过权重。生成每步还要读取历史缓存,延迟常受访存带宽限制。若用 GQA,键值头数减少,缓存按查询头数与键值头数的比例下降。
配置文件里查询头数和键值头数常常不相等,比如 32 个查询头配 8 个键值头,意思是每四个查询头共享一组 key 和 value。共享的是键值,不是查询。
沿用图书馆的说法,就是四位馆员共用同一套书脊标签和正文摘录,但各自带着不同的需求去检索。提问视角保持多样,键值缓存的开销砍到四分之一。
质量损失在实践中通常很小,所以 GQA 成了很多模型省缓存、降访存的常见选择,长上下文场景尤其受益。同样为了压缓存,还有 MQA、MLA 等路线,本文不展开。
第二笔是稀释,先把它当直觉估算。softmax 的权重总和是一,如果粗暴假设权重均匀,上下文从一千涨到十万,平均份额会薄两个数量级。真实权重当然不均匀,关键 token 可以拿高权重,但长上下文里分布可能变散,关键信息的相对份额被压缩。稀释是不是主因仍有争论,这里只把它当背景压力。关键指令还在,只是可能被淹掉了。
第三笔是位置。实测里模型对开头和结尾的信息更敏感,中间容易失守,业界叫 lost in the middle。结尾的优势相对好理解,离生成位置最近。开头的优势更复杂,可能和早期位置被反复访问、训练分布、位置编码共同有关。后面会讲一个相关现象 attention sink,但它不等于开头优势的全部解释。再叠加超长序列上的位置外推误差、训练语料里长样本偏少,中间塌陷是多因叠加,不是某一条机制单独背锅。
回扣引言那个 JSON 失守的场景,现在能给出部分解释。约束写在中段,一边可能被第二笔账里的稀释摊薄,一边又缺少首尾的位置优势。稀释提供背景压力,位置偏置是实测经验,两者可能叠加,但不互为因果。对应的做法有了依据,重要指令放两端,RAG 重排序把最相关的放首尾,长对话及时摘要,关键约束在末尾复述一遍。这些技巧是在给注意力让路。但要把话说全,注意力只是因素之一,格式失守还和对齐训练、指令层级、解码策略有关。真要保 JSON,约束解码或结构化输出接口,比反复叮嘱更可靠。
开头那几个 token 动不得
有个反直觉现象值得单独说。不少模型里,开头几个 token 会吸走异常高的注意力权重,哪怕语义上无关紧要。一种直观解释是,softmax 要求权重总和为一,当前位置即使没有强烈需要检索的信息,也必须把权重分出去。早期 token 在因果掩码下对后续所有位置可见,又常是起始符或分隔符这类语义负担低的位置,于是被一些头当作默认落点。这个解释能说明现象,但机制可能不止一种,也不保证所有架构都如此。这说的是权重落点,不代表开头内容天然更有用。
落到工程上,结论是做流式截断时,保留最初几个 token 加一个近期窗口,通常比直接丢掉开头稳。StreamingLLM 一类方法正是利用这一点。保留开头是一种经验性保护,别把它当成普通可删文本。
微调改的是什么,改不了什么
说完推理侧,回到训练侧。回到三个分身,LoRA 挂在投影层上,改的是词生成查询、标签、内容的方式,相当于调整馆员的检索习惯。它更多是在已有能力上调整偏好,所以小数据量也能起效。常见起点是只挂查询和数值投影,省显存、实现简单。要不要加标签和输出投影,是任务相关的消融选项,不是普适更稳。数据少、任务窄时,挂得多未必更好,需要改变注意模式时可以试,但要看验证集。
边界同样重要。普通 LoRA 不会凭空扩大上下文窗口,也不改变因果掩码。若基座位置编码允许、数据里又有长样本,它可以改善已有窗口内的长上下文表现,但窗口上限和缓存开销仍由架构与推理配置决定。所以别把长上下文遗忘都交给微调,那要位置编码方案、训练数据和上下文工程一起解决。
收尾
回到开头那两个场景。RAG 十段文档里精准命中,是软检索把权重压在了对的地方。长对话里 JSON 失守,背后可能有稀释和位置偏置的影子,虽然不全是注意力的锅。同一个机制,两种结果。
注意力做的事其实很朴素,判断该关注谁,然后按份额取信息。QKV 定义了检索的三个角色,自注意力让每个词互相检索,多头把一份预算拆成多个视角,掩码规定谁能看谁。理解了这四件事,上下文工程、缓存计费、微调配置就有了共同的底座。