在构建大语言模型（LLM）应用时，企业开发者常常面临一个两难困境：为了调整模型行为以适应特定业务场景，他们需要编写极其冗长的系统提示词，其中包含公司知识、偏好和具体指令。然而，在规模化部署时，这些庞大的上下文会显著拖慢推理速度，并大幅推高每次查询的成本。
长提示词：从解决方案到性能瓶颈
上下文学习允许开发者在推理时更新模型行为，而无需修改其底层参数，这比重新训练模型更快、更经济。但问题在于，这种“知识”是临时的。模型不会在不同对话间记住这些信息，这意味着每次交互都必须重新输入那套庞大的指令或文档。对于企业应用而言，这可能意味着反复将公司政策、客户工单或复杂的技术手册粘贴到提示词中。
“企业经常使用长系统提示词来强制执行安全约束（如仇恨言论检测）或提供领域专业知识（如医学知识），”微软亚洲研究院研究员、论文合著者叶天柱在接受采访时表示，“然而，冗长的提示词会显著增加推理时的计算开销和延迟。”
上下文蒸馏：将知识“内化”进模型
上下文蒸馏的核心思想，是训练一个模型，将你反复插入上下文的信息内化。它遵循经典的师生范式：“教师”模型接收详细的长提示，生成高度定制化的回答；“学生”模型在训练时只看到主要问题，没有完整上下文，其目标是观察教师的输出并学习模仿。
通过这个过程，学生模型将教师提示中的复杂指令直接压缩到其参数中。对企业而言，主要价值体现在推理阶段：由于学生模型已经内化了上下文，部署时无需再粘贴冗长的指令，从而大幅提升速度并降低计算开销。
传统方法的缺陷：暴露偏差与模式覆盖
然而，经典的上下文蒸馏依赖于“策略外训练”，即模型在训练前收集的固定数据集上进行训练。这带来了几个关键问题：
- 暴露偏差：学生模型在训练时只接触“标准答案”和教师生成的回答，从未练习过自主生成序列或从错误中恢复。这导致它在独立运行时容易“脱轨”。
- 模式覆盖问题：传统方法使用前向KL散度来最小化学生与教师输出的差异，这鼓励了“模式覆盖”行为。学生模型（通常更小或能力更弱）被迫尝试覆盖教师所有可能的复杂推理路径，导致其输出分布变得过于宽泛和模糊。
在实际应用中，这可能导致模型产生幻觉——因为试图模仿其并不真正具备的知识深度而自信地编造内容，同时也损害了模型在新任务上的泛化能力。
OPCD：创新的“策略内”师生训练
为了从根本上解决上述问题，微软研究团队提出了策略内上下文蒸馏（On-Policy Context Distillation, OPCD）。其最重要的转变在于：学生模型是从自身生成轨迹中学习，而非静态数据集（因此称为“策略内”）。
在OPCD框架下，学生模型在看不到庞大指令提示的情况下接受任务，必须完全自主生成答案。在此过程中，拥有完整提示的教师模型充当实时指导者，在生成的每一步，系统都会将学生的令牌分布与上下文感知的教师模型会做出的选择进行比较。
OPCD采用反向KL散度来评估学生。“通过最小化反向KL散度，它促进了‘模式寻求’行为，”叶天柱解释道，“它聚焦于学生分布的高概率区域，抑制学生认为不太可能的令牌，即使教师的信念给它们赋予了高概率。这种对齐帮助学生纠正自身错误，避免标准蒸馏中产生的宽泛、幻觉的分布。”
由于学生模型在训练中积极练习自主决策并学习纠正错误，其在真实应用中的行为更加可靠，成功地将复杂的业务规则、安全约束或专业知识“烘焙”进其永久记忆。
性能飞跃：基准测试结果
研究团队在两大关键领域测试了OPCD：
1. 经验知识蒸馏：测试LLM能否从自身过去的成功中学习并永久吸收这些经验。在数学推理问题上，使用OPCD将模型从解题中总结出的通用规则直接内化后，模型性能显著提升。例如，一个80亿参数模型在复杂数学问题上的准确率从75.0%提升至80.9%。在“冰湖导航”游戏中，一个17亿参数的小模型成功率从6.3%跃升至38.3%。
2. 系统提示词蒸馏：测试OPCD能否将用于强制执行严格行为准则（如保持专业语气、确保医疗准确性、过滤有害语言）的长系统提示永久内化到模型中。实验表明，OPCD成功内化了这些复杂规则并大幅提升性能：
- 在一个30亿参数的Llama模型上进行安全与毒性分类测试，基线准确率为30.7%，内化安全提示后飙升至83.1%。
- 在医疗问答任务上，同一模型从59.4%提升至76.3%。
保持通用能力，避免灾难性遗忘
微调模型的一个关键挑战是“灾难性遗忘”——模型过于专注微调任务，导致通用任务能力下降。研究人员通过跟踪分布外性能来测试这种“隧道视觉”。当将严格的安全规则蒸馏到模型中后，他们立即测试其回答无关医疗问题的能力。结果显示，OPCD成功保持了模型的通用医疗知识，其表现比旧的策略外方法高出约4个百分点，实现了“专精而不失博通”。
OPCD的定位与未来
OPCD是内化静态知识和复杂规则的强大工具，但并非万能。叶天柱指出：“当所需信息高度动态，或涉及无法压缩进模型权重的海量、频繁更新的外部数据库时，检索增强生成（RAG）仍然是更好的选择。”
对于企业团队而言，采用OPCD无需彻底改造现有系统或投资专用硬件。“OPCD可以以极低的摩擦集成到现有工作流中，”叶天柱表示，“任何已经在运行标准RLVR（基于可验证奖励的强化学习）流程的团队，都可以在不进行重大架构更改的情况下采用OPCD。”硬件要求也相对亲民，复现实验大约需要8块A100 GPU。
数据要求同样轻量：对于经验知识蒸馏，开发者仅需约30个种子样本来生成解决方案轨迹；对于系统提示蒸馏，现有的优化提示和标准任务数据集就已足够。
展望未来，OPCD为真正的自改进模型铺平了道路。一旦部署，模型可以从真实世界交互中提取经验教训，并利用OPCD逐步内化这些特性，而无需模型训练师的人工监督或数据标注。“这代表了模型改进的根本性范式转变：模型的核心改进将从训练时转移到测试时，”叶天柱总结道，“使用模型——并允许它积累经验——将成为其进步的主要驱动力。”