这篇研究探讨了大语言模型知识蒸馏过程中教师模型选择的重要性。北科a-m-team团队从三个顶级模型(AM-Thinking-v1、Qwen3-235B-A22B和DeepSeek-R1)收集了189万个问题的推理答案,分析发现AM-Thinking-v1生成的数据表现出更多样的令牌长度分布和更低的困惑度。使用这些数据训练的学生模型在AIME2024(84.3分)、AIME2025(72.2分)、MATH500(98.4分)和LiveCodeBench(65.9分)等基准测试中,AM蒸馏模型始终表现最佳,并展现出根据任务难度动态调整输出长度的能力。
至顶网 科技行者 2025-05-26 08:10:53