这项研究揭示了大语言模型在学习推理时对噪声奖励的惊人适应力。研究表明,即使有40%的奖励信号被故意颠倒,Qwen-2.5-7B模型仍能将数学题准确率从5%提升至72%。更惊人的是,仅奖励模型使用关键推理词组(如"首先,我需要..."),而不验证答案正确性,也能达到70%以上的准确率。研究者提出的推理模式奖励(RPR)不仅能让模型在数学任务中表现出色,还能有效校准开放性任务中的噪声奖励模型,提升较小模型的推理能力。这表明大模型在预训练阶段已掌握了推理能力,强化学习主要帮助它探索有效的推理模式。
至顶网 科技行者 2025-06-03 17:40:47