这项研究探索了让大语言模型从词级预测转向句子级预测的可能性。研究团队构建了一个框架,使预训练语言模型能在句子嵌入空间中进行推理,探索了语义嵌入和上下文嵌入两种范式。实验结果表明,上下文嵌入在连续推理模式下的表现与传统思维链方法相当,同时将推理时计算成本平均降低了一半。研究还开发了SentenceLens工具可视化内部推理过程,并展示了这种方法在模型规模扩展和模块化适应方面的潜力。这一突破性研究证明预训练语言模型可以有效过渡到更高层次的抽象推理。
至顶网 科技行者 2025-06-02 12:19:49