结论

AppTek与亚琛工业大学等团队在 Asia/Shanghai 9月24日首次公开WMT 2026接收论文Fine-Tuning LLMs for Translation，检验翻译微调中的灾难性遗忘缓解是否同样保护机器翻译特有指令跟随。作者报告，在Llama 3.1 8B西班牙英双向微调中，弹性权重巩固将通用基准平均下降控制在1.7分，明显优于标准微调的11.0分，但其形式度与语法性别控制得分仍接近标准微调，未能保住该类控制。以上为作者在限定语言对与三类控制任务中的结论，论文已标注被WMT 2026接收，但未经本站独立验证，不应视为任意模型或语言下的通用保证。

方法与评估条件

论文提交记录为2026年9月23日17时02分59秒UTC，对应北京时间2026年9月24日01时02分，收录于arXiv 9月24日公告批次，满足当日首次公开门槛。研究对象是指令微调模型做机器翻译微调后的遗忘：先以Llama 3.2 1B Instruct在阿姆哈拉英、阿英、西英单向数据上做筛选，再以Llama 3.1 8B Instruct在阿英与西英双向各约100万句对上做主实验。作者比较11种缓解方法，按锚定信号分为辅助数据类、模型输出类与基模型参数类，均在离策略监督微调下逐方法独立评估。通用能力以常规基准平均分衡量，翻译质量以COMET与FLORES衡量，机器翻译指令跟随以改编自CoCoA-MT与MT-GenEval的形式度、语法性别与长度控制衡量。辅助数据锚统一取自Tülu 3 SFT混合子集。

主要结果

作者称，在1B筛选中标准微调使通用平均降6.3至8.1分，弹性权重巩固将其限制在2.5分以内并位于学习与遗忘帕累托前沿，多数其他方法向标准微调坍缩且跨语言一致。在8B主实验西班牙模型上，弹性权重巩固保留通用能力最优，但形式度与性别控制未获同等保留。作者称，第二阶段所测方法中仅混入对应控制任务样本的数据混合能保留该类控制，消融显示性别与形式度之间无一致迁移，且同任务未见提示上无增益。附带观察是微调可将阿姆哈拉英COMET从45.6提至71.5，说明翻译质量提升与指令控制丢失可并存。

  • 在8B西班牙双向模型上弹性权重巩固将通用平均下降控制在1.7分，标准微调下降11.0分；同一设置下其形式度与语法性别控制仍接近标准微调；仅混入对应控制任务样本的数据混合能保留该类控制，但不迁移到同任务未见提示；1B筛选中标准微调通用平均降6.3至8.1分，弹性权重巩固限制在2.5分以内并位于帕累托前沿。

局限与适用边界

本研究结论限Llama 3.2 1B与Llama 3.1 8B Instruct及阿英、西英双向与阿姆哈拉英等少数语言对，不得推广为中文、其他语言对或更大模型的普遍保证。机器翻译指令跟随仅测形式度、语法性别与长度三类控制，评估依赖特定改编基准与提示写法，未覆盖词汇、结构与多指令组合等类型。方法比较限离策略监督微调且逐方法独立评估，未组合正交方法，锚定能力受Tülu 3子集覆盖约束，在线强化学习是否同样遗忘不在本研究验证范围内。开源细节可供复现但本站未独立运行，超参网格与单次运行不确定性、混合数据的额外成本与长度控制细节需看全文后自测。

是否同行评审与潜在意义

截至核验时，该工作状态为会议论文，arXiv页面标注Accepted at WMT 2026，编辑将其归为会议论文而非未经评审的预印本，但仍需独立复现确认。若后续可复现，其意义在于提醒仅看通用基准会漏检翻译特有能力损失：做翻译微调时应单设形式度与性别控制回归项，需要该控制就混入对应任务样本，不要指望通用缓解方法顺带保住，也不要指望一种控制的样本自动迁移到另一种。中国读者参考时应注意实验均为英阿、英西及英阿姆哈拉场景，中文形式度与性别显化方式不同，直接套用前需在自有分布上重测COMET与控制准确率，并评估数据混合的标注与合规成本。