ISTA和Red Hat AI的研究团队在《Unified Scaling Laws for Compressed Representations》论文中提出了一个革命性的统一框架,揭示了AI模型压缩背后的数学规律。他们发现,无论使用什么压缩方法,模型性能都可以通过"表示容量"这一单一指标准确预测,而这一指标与表示法拟合随机高斯数据的能力直接相关。研究不仅证明了容量在组合表示中可以分解,还开发了基于容量的改进稀疏训练方法,在同等参数条件下显著提升模型性能。
至顶网 科技行者 2025-06-06 11:22:39