别再喂干净数据了:如何用检索上下文噪声注入提升模型的抗干扰能力
别再喂干净数据了:如何用检索上下文噪声注入提升模型的抗干扰能力
第一部分 引言:被干净数据惯坏的模型
很多 Agent 开发者和微调工程师都经历过这样的落差。模型在测试集上表现堪称完美,可一旦接入真实业务,面对检索系统召回的无关文档、用户提示词中夹带的干扰信息,Agent 要么被带偏产生幻觉,要么强行编造答案。
我们管这种现象叫模型的娇气病。不过得先说清楚,娇气病其实包含两种不太一样的问题。一种是格式娇气,模型对指令模板过拟合,换个句式就崩,这属于任务多样性不足的范畴。另一种是上下文娇气,模型面对检索召回的噪声信息时缺乏鲁棒性。这两个问题的成因和解法差别挺大,这篇文章只聊后者,也就是怎么通过检索上下文噪声注入,让模型在脏数据里不至于当场崩盘。
第二部分 背景:上下文鲁棒性与两种核心能力
标准的指令微调里,训练数据往往只包含干净、准确的上下文。模型在这种温室环境里训练久了,很容易形成一种脆弱的依赖:上下文干净就能正确回答,一旦混入噪声,决策边界就塌了。
要解决这个问题,模型需要同时具备两种能力。第一种是拒答能力,上下文中完全没有可用信息时,模型能诚实地说不知道。第二种是选择性提取能力,上下文中同时有干净信息和噪声干扰时,模型能从噪声里把关键信息挑出来,而不是直接放弃或者干脆不看上下文、凭内部参数硬答。
这里有个常见的误解我得多说两句。很多人觉得,只要往上下文里混入无关文档,模型就会学会无视上下文、强行闭卷作答。这个判断太绝对了。实际行为取决于干扰文档跟问题的语义相关性。如果干扰文档跟问题完全无关,模型确实可能学会忽略上下文。但如果干扰文档具有表面相关性,也就是我们常说的伪相关文档,模型更可能学会的是从噪声中筛选有效信息。所以噪声注入的设计必须区分这两种情况,一刀切的做法在工程上会出问题。
第三部分 核心实现:检索上下文噪声注入与动态标签联动
在 Agent 和 RAG 场景中,最常见的脏数据其实是检索系统召回的无关或伪相关片段。这里有一个我们踩得很实在的坑。最早我们只是往训练数据的上下文里混入干扰文档,标签保持不变。结果模型的行为非常不稳定,面对完全无关的噪声它学会了忽略上下文,面对伪相关噪声它开始在矛盾信息里摇摆。两种情况都不是我们想要的稳定鲁棒性。
所以光往上下文里塞噪声是不够的,标签必须跟着动。构造数据时,得根据噪声类型和干净信息的可提取性,动态决定标签应该是什么。
具体来说,我们最终跑通了四种训练场景。
第一种是选择性提取场景。上下文中同时包含干净信息和完全无关的噪声,标签保持原答案不变。说实话这个场景的训练信号挺弱的,模型本来就不太会被完全无关的文档带偏。但它必须留着,而且比例还不能低。我们早期试过把 extract 砍到百分之十,结果模型在学拒答的过程中连带把正常提取也搞崩了,后来才意识到这类样本起的是锚定作用,防止基础提取能力在引入更难场景时被稀释。
第二种是拒答场景。上下文中只有噪声,完全没有可用信息。标签改为拒答表述,训练目标是让模型学会在信息不足时诚实承认。
第三种是事实冲突场景。上下文中包含与干净信息直接矛盾的伪相关文档,比如干净信息说核心产品是 X,噪声文档说核心产品是 Y。标签应引导模型以干净信息为准。这里有个细节特别容易忽略:噪声文档和干净信息的相对位置必须随机化。我们第一版总是把干净信息放在噪声后面,模型确实学会了以干净信息为准,但后来测试时把顺序反过来,准确率直接掉了十几个点。模型学到的根本不是识别伪相关文档,而是位置偏置,优先相信上下文末尾的内容。测试集里必须覆盖两种顺序,不然评估结果会严重失真。
第四种是不确定信息场景。上下文中包含传闻、猜测或时效性存疑的伪相关文档。这里有个重要区分:并非所有不确定信息都值得标注。如果传闻与当前问题相关但未经证实,标签应在正确答案后引用具体的不确定信息。注意是引用具体内容,比如写另有传闻称 X 产品可能已停止研发,该信息未经证实,而不是套一句通用的建议以官方资料为准。我们最初用的就是固定尾缀,结果模型学会了只要上下文里出现据传两个字就机械地加上那句免责声明,跟问题本身完全无关的传闻也加,这等于制造了一种新的格式过拟合。如果传闻与问题完全无关,标签就保持原答案不变。
下面是完整的构造逻辑。
import random
def build_training_sample(question, clean_context, clean_answer,
irrelevant_pool, conflict_pool,
uncertain_relevant_pool, uncertain_irrelevant_pool,
strategy, uncertainty_note=None):
if strategy == "extract":
noise = random.choice(irrelevant_pool)
if random.random() < 0.5:
context = clean_context + "\n" + noise
else:
context = noise + "\n" + clean_context
answer = clean_answer
elif strategy == "refuse":
noise = random.choice(irrelevant_pool)
context = noise
answer = "根据提供的参考信息,无法回答该问题。"
elif strategy == "conflict":
noise = random.choice(conflict_pool)
if random.random() < 0.5:
context = clean_context + "\n" + noise
else:
context = noise + "\n" + clean_context
answer = clean_answer
elif strategy == "uncertain_relevant":
if not uncertainty_note:
raise ValueError("uncertain_relevant 场景必须提供 uncertainty_note")
noise = random.choice(uncertain_relevant_pool)
if random.random() < 0.5:
context = clean_context + "\n" + noise
else:
context = noise + "\n" + clean_context
answer = clean_answer + "(注:" + uncertainty_note + ")"
elif strategy == "uncertain_irrelevant":
noise = random.choice(uncertain_irrelevant_pool)
if random.random() < 0.5:
context = clean_context + "\n" + noise
else:
context = noise + "\n" + clean_context
answer = clean_answer
return {
"context": context,
"question": question,
"answer": answer
}
irrelevant_pool = [
"今天天气很好适合去爬山。",
"B公司的财报显示今年利润下降。"
]
conflict_pool = [
"A公司的核心产品是Y,于2022年发布。"
]
uncertain_relevant_pool = [
"据传A公司已经停止了X产品的研发。"
]
uncertain_irrelevant_pool = [
"据传C公司正在考虑收购一家初创企业。"
]
sample = build_training_sample(
question="A公司的核心产品是什么?",
clean_context="A公司的核心产品是X,于2023年发布。",
clean_answer="A公司的核心产品是X。",
irrelevant_pool=irrelevant_pool,
conflict_pool=conflict_pool,
uncertain_relevant_pool=uncertain_relevant_pool,
uncertain_irrelevant_pool=uncertain_irrelevant_pool,
strategy="uncertain_relevant",
uncertainty_note="另有传闻称X产品可能已停止研发,该信息未经证实"
)
关于场景配比,这里给出我们目前跑下来相对稳定的参考值。先说明一下口径:配比中的干净数据指的是纯干净、无任何噪声的样本;后四类场景中虽然都包含干净信息,但它们的核心训练目标是噪声处理能力,归入噪声类。最终目标配比为:干净数据占百分之四十,选择性提取占百分之二十五,拒答占百分之十,事实冲突占百分之十五,不确定信息占百分之十。
数据规模方面,对于七 B 到十四 B 量级的模型,我们目前的经验是总训练样本量不低于五千条,噪声类样本合计不低于三千条。这两个数字是经验值,没有严格的论文出处,不同模型和任务可能需要调整。另外要说明的是,这是针对最终目标配比的总量门槛,课程学习早期阶段噪声类比例低是正常的。
课程学习我们拆成了四个阶段,每个阶段只引入一种新场景。
第一阶段只包含干净数据和选择性提取,干净数据占百分之七十,选择性提取占百分之三十。
第二阶段引入拒答,干净数据占百分之六十,选择性提取占百分之三十,拒答占百分之十。拒答比例在整个训练过程中始终控制在百分之十以内。
第三阶段引入事实冲突,干净数据占百分之五十,选择性提取占百分之二十五,拒答占百分之十,事实冲突占百分之十五。
第四阶段引入不确定信息,逐步过渡到前述目标配比。
关于数据构造方式,我们采用的是同一批数据分阶段采样。先按最终目标配比构造完整训练集,每个阶段按该阶段配比从完整数据集中采样子集。这样不用重复构造数据,阶段之间的样本分布也是连续的。
第四部分 边界条件与总结:工程复杂度与副作用管控
过度拒答是我们踩过的最疼的一个坑。第一版训练集里拒答样本占了差不多百分之二十五,模型上线后用户问一个很基础的产品参数问题,它直接回了一句根据提供的参考信息无法回答。排查了半天才发现不是检索的问题,是模型在微调阶段把拒答学得太狠了。后来查了一些相关工作才发现,拒答感知微调本身就容易引发过度拒答,模型会把本可回答的问题也误判为未知。
所以加噪比例和拒答标签比例必须联动考虑,不能孤立调整。
评估方面,我们目前监控四个指标。
提取准确率:在所有应该正确回答的样本中,模型实际给出正确答案的比例。分母包括干净数据、选择性提取、事实冲突和不确定信息相关子场景中的全部样本。事实冲突场景中如果模型采信了噪声文档导致答错,计入提取准确率的错误项。我们同时单独统计冲突处理正确率,方便定位模型在伪相关噪声下的具体表现。
拒答准确率:在所有应该拒答的样本中,模型实际拒答的比例。
过度拒答率:在所有应该正确回答的样本中,模型错误拒答的比例。事实冲突和不确定信息场景中干净信息存在,模型不应该拒答,如果拒答了就计入过度拒答率。
不确定加注率:在不确定信息相关子场景中,模型给出正确答案且附加了与噪声内容匹配的不确定性标注的比例。答案正确但没加注的,计为提取正确,但加注率单独看。
最后说一句掏心窝的话。检索上下文噪声注入不是一个即插即用的方案,它是一个需要持续监控和调参的高维护成本工程。数据构造流水线、动态标签逻辑、位置随机化、多场景评估体系,每一块都要投入。在决定搞之前,建议先看看你的检索系统召回质量到底怎么样。如果召回本身已经够干净,这套东西的边际收益可能真不大。
它不是万能药。但在上下文噪声确实是主要失败模式的场景下,它值得优先试。至于试完之后效果能到什么程度,说实话我们也还在调,有些边界情况到现在也没完全收敛。