Meta FAIR实验室提出的集合块解码技术通过融合传统下一词预测和遮蔽词预测,让语言模型能以任意顺序同时生成多个词汇,无需修改模型架构即可将推理速度提升3-5倍。该技术在Llama-3.1和Qwen-3模型上验证有效,为大型语言模型的实际应用提供了重要的效率突破,有望显著改善用户体验并降低部署成本。
HPE 与 Nvidia 合作推出了企业级 AI 解决方案,旨在加速生成式、主动式和物理 AI 模型的价值实现。该解决方案名为 Nvidia AI Computing by HPE,专为 AI 训练、调优和推理而设计,提供了更高的性能、安全性和能效。它可以帮助各种规模的企业通过一站式私有云 AI 平台加快 AI 模型的部署和应用。