华为昇腾团队发布了Pangu Pro MoE,这是全球首个采用混合分组专家(MoGE)架构的72B参数稀疏语言模型。该模型专为昇腾NPU优化设计,通过创新的专家分组策略解决了传统MoE模型的负载不均衡问题,实现了完美的计算负载分配。模型仅激活16B参数处理每个token,在推理效率上显著超越同规模密集模型,为大规模AI应用提供了高效解决方案。
Meta AI团队开发的AggLM技术突破了传统AI多数投票的局限,通过强化学习训练模型学会智能聚合多个候选答案。在数学竞赛测试中,该技术将正确率从35%提升至50%,相比传统方法提升45%。AggLM不仅能选择正确答案,还能创造性地组合不同答案中的有用信息,展现了AI向人类专家级推理能力的重要进步。