Midjourney 与纽约大学合作,发布了一项提升大语言模型创造性写作能力的研究。他们提出了两种新技术:多样化直接偏好优化(DDPO)和多样化比值偏好优化(DORPO),旨在扩大模型输出的多样性,同时保持连贯性和可读性。这项研究不仅展示了 Midjourney 在文本领域的野心,也为企业 AI 团队、产品开发者和内容创作者提供了改进 AI 生成文本的新方法。
这篇研究介绍了一种名为YAQA(Yet Another Quantization Algorithm)的训练后量化技术,由康奈尔大学研究团队开发。与传统方法不同,YAQA不仅关注局部激活误差,而是考虑整个模型的KL散度,通过Kronecker分解的Hessian矩阵估计来实现更精准的参数量化。实验表明,YAQA能将模型与原始版本的KL散度降低约30%,同时在下游任务上实现最先进性能,为大型语言模型的高效部署提供了新方案。