这项研究提出了量化零阶优化(QZO)方法,解决大型语言模型微调时的内存瓶颈问题。研究团队通过创新性地结合模型量化(将权重从16位压缩到4位)和零阶优化(通过前向传递扰动估计梯度),同时消除了对梯度和优化器状态的存储需求,将总内存消耗减少了18倍以上。实验表明,QZO在各种自然语言处理任务上表现优异,甚至能在单张24GB的消费级GPU上微调13B参数的模型和Stable Diffusion 3.5 Large。这一技术突破为资源有限的研究者提供了微调大模型的可能性。
至顶网 科技行者 2025-05-26 17:03:35