训练期：标签平滑的正确打开方式

发表于 2026-10-08 更新于 2026-10-09 分类于大模型 Waline：阅读次数：本文字数： 6.8k 阅读时长 ≈ 6 分钟

推理期：温度与采样策略的联合调参手册

将温度从0.7调到1.2，回复多样性提升了，但模型开始胡说八道；调回0.7，事实准确了，却又陷入车轱辘话。这是LLM推理调参中最经典的语义崩坏困境。很多工程师把它归咎于温度本身，实则忽略了温度的本质——它并非独立的多样性开关，而是整个采样策略系统的增益调节器。就像音响的音量旋钮，开太大而限幅器没跟上，声音就会破音。单独拧温度，等于在没调焦距的情况下猛拧光圈，画面必然失焦。本文提供一套基于验证集指标的联合调参决策流程，帮你把温度从玄学旋钮变成可控的工程变量。阅读本文前，假设你已完成训练期闭环；若尚未通过长尾测试集验证，建议先完成第一篇第四步的修复流程，否则推理调参收益有限。

第一步：建立基线与诊断指标

调参前必须把“语义崩坏”和“多样性”从主观感受转化为可量化指标。注意：以下指标均为启发式代理，并非理论上的“事实一致性”或“多样性”度量。所有代理指标必须在批量调参前完成前置校准 ，未通过校准则强制降级，不可直接使用。

基线定义重申

本文所有“相对基线”均继承第一篇定义：固定ε=0.05、未启用动态调度的模型，在T=0.7、Top-p=0.9、Top-k=50配置下的指标。此基线需在推理调参开始前同步生成并记录，作为后续所有比较的锚点。若未设置该基线，所有预警与决策条件不可操作。

事实一致性代理指标

LLM-as-Judge可作为主指标，但必须通过以下校准流程验证其可靠性：

准备80条人工标注样本（高分/中分/低分各约27条，确保覆盖全量程）；
用候选judge模型对每条样本评分3次（温度固定为0.3，避免温度引入额外方差）；
计算每条样本3次评分的标准差σ_i，报告max(σ_i)作为稳定性指标；
计算与人类标注的Spearman ρ及95%置信区间：对(human_score, judge_score)配对做有放回重采样1000次，每次重采样后重新计算Spearman ρ，取2.5%和97.5%分位数作为CI边界 ；
接受标准：ρ的95% CI下界≥0.5且max(σ_i)≤0.12。若未达标，尝试更换judge模型或优化prompt；若三次尝试仍不达标，强制降级至“人工抽检+n-gram F1趋势参考”模式。

降级模式下的调参调整 ：n-gram F1仅用于排除明显异常参数点（如得分骤降>20%），不作为优化目标。所有关键决策点（如确定T_safe、选择最优组合）必须辅以至少20条样本的人工事实核查。此模式下调参效率显著降低，应优先解决judge模型适配问题而非长期依赖降级模式。

校准通过后，使用以下函数进行批量评估。解析失败处理已修正：不再返回中性值，而是记录失败率，超过阈值时中断调参。

def llm_fact_consistency_batch(predictions, references, judge_model, fail_thresh=0.05):
    """
    批量LLM-as-Judge评估（含失败率监控）
    返回(scores, fail_rate)，fail_rate>fail_thresh时scores不可信
    """
    scores = []
    fail_count = 0

    for pred, ref in zip(predictions, references):
        prompt = f"""请判断以下生成内容是否与参考答案事实一致。
        参考答案：{ref}
        生成内容：{pred}
        仅输出0到1之间的数字，1表示完全一致，0表示完全不一致。"""

        try:
            response = judge_model.generate(prompt, max_new_tokens=10, temperature=0.3)
            score = float(response.strip())
            scores.append(max(0.0, min(1.0, score)))
        except (ValueError, AttributeError):
            fail_count += 1
            scores.append(None)

    fail_rate = fail_count / len(predictions)
    valid_scores = [s for s in scores if s is not None]

    if fail_rate > fail_thresh:
        return None, fail_rate
    return sum(valid_scores) / len(valid_scores), fail_rate

调用方约定补充 ：若llm_fact_consistency_batch返回None，则该温度点的得分不可信，应检查judge prompt或生成格式后重跑该点；连续两个温度点返回None时，应立即中断扫描 ，排查系统性问题（如judge模型崩溃、输入格式错误），不可跳过或插值。

多样性代理指标

单一指标无法可靠度量多样性。推荐双指标互补，并明确各自角色：

MC-NLL （置信度代理）：反映模型对生成序列的平均自信程度。仅当Self-BLEU同时改善时，NLL下降才解读为“有效多样性提升” ；若NLL降但Self-BLEU升，说明模型更自信地生成重复内容，属无效优化。
Self-BLEU （表面变异度代理）：计算K条生成序列两两之间的文本级BLEU均值。决策主指标 ：一阶粗扫中“多样性提升最大”以Self-BLEU降幅为准；三阶重复惩罚触发条件仅看Self-BLEU。选用bigram BLEU（weights=(0.5,0.5,0,0)）而非标准BLEU-4，因bigram对局部重复更敏感，更适合捕捉生成内容的表面变异度 。

K值选择与开销：K=30时Self-BLEU需计算435对BLEU，在CPU上约耗时2-3秒/参数组合（参考Intel Xeon Gold），GPU加速可降至0.3秒。若资源受限，K=20为最低可接受值（190对，误差±10%），低于此值结果仅作趋势参考。

总生成次数估算明细 ：自适应两阶段搜索共90个参数组合（一阶15+二阶75）。每个组合需：(a) 生成K=30条序列用于多样性估计；(b) 生成验证集子集（50条，非全量200条）用于事实一致性评估。合计每组合80次生成，90×80=7200次。加上T_safe迭代扫描（约3轮×14点×50条=2100次）及重复惩罚验证（约2000次），总计约1.2万次，控制在2万次以内。此估算基于“事实一致性评估使用50条验证子集”的假设 ；若使用全量200条，总次数将升至约2.5万次，需相应缩减精扫范围或降低K值。

from nltk.translate.bleu_score import sentence_bleu

def mc_diversity_dual(model, tokenizer, input_ids, sampling_config, K=30):
    """
    双指标多样性估计（MC-NLL + 文本级Self-BLEU）
    返回(nll, self_bleu)，两者需结合解读
    """
    sequences_text = []
    nlls = []
    prompt_len = input_ids.size(1)
    skipped = 0

    for _ in range(K):
        output = model.generate(input_ids, **sampling_config, 
                                num_return_sequences=1, do_sample=True,
                                output_scores=True, return_dict_in_generate=True)

        # 正确对齐：生成部分logits对应生成部分labels
        gen_logits = torch.cat(output.scores, dim=1)  # [1, gen_len, V]
        gen_labels = output.sequences[:, prompt_len:]  # [1, gen_len]

        # 使用实际生成长度构造mask，避免pad_token被误排除
        actual_gen_len = gen_logits.size(1)
        mask = torch.ones(actual_gen_len, dtype=torch.bool, device=gen_labels.device)
        # 仅当gen_labels中存在合法eos/pad时才截断（可选增强）

        if mask.sum() == 0:
            skipped += 1
            continue  # 同时跳过NLL和文本追加，保证长度一致

        nll = F.cross_entropy(gen_logits.reshape(-1, gen_logits.size(-1)), 
                              gen_labels.reshape(-1), reduction='none')
        nll = (nll * mask.reshape(-1)).sum() / mask.sum()
        nlls.append(nll.item())

        # 解码为文本再计算Self-BLEU，避免子词token id的语义错位
        text = tokenizer.decode(output.sequences[0][prompt_len:], skip_special_tokens=True)
        sequences_text.append(text.split())

    if len(sequences_text) < 2:
        return float('nan'), float('nan')

    # 文本级Self-BLEU（bigram）
    bleu_scores = []
    for i in range(len(sequences_text)):
        for j in range(i+1, len(sequences_text)):
            bleu = sentence_bleu([sequences_text[j]], sequences_text[i], 
                                 weights=(0.5, 0.5, 0, 0))
            bleu_scores.append(bleu)
    self_bleu = sum(bleu_scores) / len(bleu_scores)

    return sum(nlls)/len(nlls), self_bleu

第二步：安全温度上限的迭代确定法

T_safe是条件性上限，依赖于当前截断参数。因此确定T_safe的过程本身必须是迭代的，而非单向扫描。

迭代扫描协议

初始化：Top-p=0.9, Top-k=50, T=0.7；
以0.1步长上调T，每步运行llm_fact_consistency_batch，当得分相对基线下降>5%时记录T_candidate；
在T_candidate附近以0.05步长精扫，确定精确T_safe；
关键迭代点 ：若后续调整了Top-p/Top-k或启用了重复惩罚/min-p，必须回到步骤2重新扫描T_safe。

终止条件（双重收敛） ：连续两轮满足以下两个条件时停止迭代：(a) T_safe变化<0.05；(b) Top-p变化<0.02且Top-k变化<5。仅满足(a)而(b)未满足时，继续迭代。最大迭代次数5轮。

第三步：联合调参决策流程

参数-质量曲面的全网格扫描在工程上不可行。改为自适应两阶段搜索，总生成次数控制在2万次以内（详见第一步估算明细）。

一阶：粗扫确定敏感区域

在当前T_safe附近选取5个温度点（T_safe-0.2, T_safe-0.1, T_safe, T_safe+0.05, T_safe+0.1），对每个温度点仅扫描Top-p∈{0.85, 0.9, 0.95}（3点），共15个组合。多样性提升以Self-BLEU降幅为准 ，识别出“事实得分降幅最小且Self-BLEU降幅最大”的3个候选区域。

二阶：精扫候选区域

对每个候选区域，以0.02步长精扫Top-p、以5步长精扫Top-k，共约3×5×5=75个组合。结合粗扫结果，确定最优参数组合。双指标解读规则 ：仅当Self-BLEU降幅≥5%且MC-NLL未上升（或上升<3%）时，才视为有效多样性提升；否则标记为“伪提升”，排除该组合。

三阶：min-p与重复惩罚的条件引入

min-p与Top-p同时使用时取交集。min-p无需随温度手动调整 ：温度升高使分布平坦化，max_prob自然下降，min-p的有效绝对阈值已自动降低。固定min_p=0.05作为起点，仅在精扫阶段验证其效果，不做额外补偿。

重复惩罚仅在以下条件全部满足时启用：Top-k≥20、Top-p≥0.8、min_p≤0.05、Self-BLEU>0.7。启用后必须回到第二步重新确定T_safe （因重复惩罚改变分布形状），再重新运行一阶粗扫确认未损害事实一致性。重复惩罚参数按任务选择：对话ngram_size=3/alpha=1.2，代码ngram_size=5/alpha=1.05，摘要慎用。

重要提醒：整个流程是迭代循环。任何参数调整后，若T_safe可能变化，必须回到第二步重新确定。终止条件同第二步的双重收敛标准。

第四步：线上部署与离线-线上映射

离线指标的有效性必须在调参开始前部分验证，而非事后补救。

前置相关性预检（样本量修正）

在第一步校准LLM-as-Judge时，同步收集50条样本的业务指标代理（如人工评定的“有用性”评分）。计算LLM-as-Judge与该代理的Spearman ρ及95% CI（配对bootstrap）。若ρ的95% CI下界<0.3，说明离线指标与业务目标对齐度不足，应在调参前就调整judge prompt或改用其他代理。

灰度验证与映射校准

灰度阶段同步采集离线指标与业务指标配对数据（≥200条）。若Pearson相关系数<0.5，立即暂停扩量，回到第一步重新校准或更换指标。

回滚机制（状态管理）

回滚目标取决于触发场景：

离线指标异常触发 （如LLM-as-Judge得分连续3周期低于基线减5%）：回滚至上一轮迭代中通过验证的参数组合（即最近一次T_safe与截断参数的稳定组合），而非基线配置。保留调参成果的同时规避当前退化。
业务指标下降触发 （如满意度降3%）：回滚至基线配置（T=0.7, Top-p=0.9, Top-k=50）。业务指标恶化表明离线-线上映射失效，需彻底重置并重新执行全流程。
未知原因触发 ：回滚至基线，并在日志中标记“未分类回滚”，供后续复盘。

状态存储要求 ：SamplingConfig类本身不维护历史栈。“上一轮稳定组合”必须由外部状态管理器（如训练框架的checkpoint系统或独立配置存储服务）显式记录 ，包括参数快照、验证通过时间戳、对应T_safe值。回滚时从状态管理器读取，而非依赖SamplingConfig内部状态。所有回滚操作必须记录触发原因、回滚目标、回滚时间，形成可追溯的状态变更日志。

轻量级参数热更新接口示例：

class SamplingConfig:
    def __init__(self, temperature=0.7, top_p=0.9, top_k=50, min_p=None):
        self._config = {
            "temperature": temperature,
            "top_p": top_p,
            "top_k": top_k,
            "min_p": min_p
        }

    def update(self, **kwargs):
        """原子更新，避免中间状态"""
        for k, v in kwargs.items():
            if k in self._config:
                self._config[k] = v

    @property
    def config(self):
        return self._config.copy()

总结与系列预告

本篇核心决策点可浓缩为三句话：先用前置校准协议验证代理指标可靠性并接受其不完美，再通过双重收敛的迭代扫描确定条件性安全温度上限，最后用自适应曲面搜索进行真正的联动调参且明确双指标解读规则。记住，温度是增益调节器而非独立旋钮，它的效果永远取决于当前截断参数的状态，且所有指标都是不完美的代理，必须持续校准、显式权衡。

下一篇《对齐期：后训练阶段的分布干预避坑指南》将解决更隐蔽的问题：RLHF或DPO后的模型本身已经过偏好校准，此时再叠加温度缩放或标签平滑，可能破坏奖励模型建立的排序关系，导致对齐效果回退。我们会给出对齐后干预的安全边界判断方法，帮你避免越调越偏的陷阱。