这项研究探索了语言神经元视角下多语言对齐如何增强大语言模型(LLMs)的多语言能力。研究团队提出了一种更精细的神经元识别算法,将激活神经元分为语言特定、语言相关和语言无关三类,克服了现有方法的局限性。基于这种分类,研究将LLMs多语言处理过程划分为四个阶段:多语言理解、共享语义空间推理、多语言输出空间转换和词汇空间输出。通过分析对齐前后不同类型神经元的变化,发现多语言对齐促进了更多语言相关神经元的共享使用,减少了对语言特定神经元的依赖,这也解释了"自发多语言对齐"现象。
至顶网 科技行者 2025-05-31 08:25:18