这篇研究介绍了一种名为YAQA(Yet Another Quantization Algorithm)的训练后量化技术,由康奈尔大学研究团队开发。与传统方法不同,YAQA不仅关注局部激活误差,而是考虑整个模型的KL散度,通过Kronecker分解的Hessian矩阵估计来实现更精准的参数量化。实验表明,YAQA能将模型与原始版本的KL散度降低约30%,同时在下游任务上实现最先进性能,为大型语言模型的高效部署提供了新方案。
在今年I/O的第二天,谷歌在美国总部(Googleplex 2000)组织了一场小范围专访,包括谷歌母公司Alphabet兼谷歌CEO桑达尔·劈柴(Sundar Pichai)在内的四位核心管理层,接受了包括科技行者Techwalker、CNBC、《朝鲜日报》、意大利纸媒《La Repubblica》、巴西纸媒《Folha de S. Paulo》、英国电视台等全球媒体的提问。
在今年I/O的第二天,谷歌在美国总部(Googleplex 2000)组织了一场小范围专访,包括谷歌母公司Alphabet兼谷歌CEO桑达尔·劈柴(Sundar Pichai)在内的四位核心管理层,接受了包括科技行者Techwalker、CNBC、《朝鲜日报》、意大利纸媒《La Repubblica》、巴西纸媒《Folha de S. Paulo》、英国电视台等全球媒体的提问。