HuggingFace Daily Papers（社区热门论文）·· 2026-09-01AI 评分44
研究提出 Switch Distillation：中训练阶段知识蒸馏更利于推理而非事实记忆
Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
AI 导读
研究发现前向 KL 蒸馏在 pre-training 阶段同时提升推理与事实记忆，但在 mid-training 阶段会拖慢事实记忆习得，同时推理仍持续提升。作者提出 Switch Distillation，以教师预测熵作为路由信号，仅在教师置信的 token 上蒸馏，其余回退到交叉熵。
整理与数据来源：AIHOT
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org