这项由上海人工智能实验室等多家国际机构联合完成的研究系统性地梳理了大语言模型高效架构的最新进展。论文将创新方法分为七大类：线性序列建模、稀疏序列建模、高效全注意力、稀疏专家混合、混合架构、扩散语言模型和跨模态应用。研究揭示了如何在保持AI能力的同时大幅降低计算成本，为AI技术的可持续发展和广泛应用提供了重要指导。

他们是一个全新的商业物种，一个由共同精神内核凝聚而成的群体一“跨境新生代”。

本研究提出了Genius框架，这是首个完全无监督的大语言模型推理自训练方法。该框架通过前瞻性重采样策略让模型在推理时"深谋远虑"，并使用优势校准优化损失函数处理训练噪声。仅用25K无标注数据，Genius就将LLaMA3.1-8B在推理任务上的平均性能提升超过7%，为AI推理能力的大规模提升开辟了新道路。

孟买工程学院研究团队开发出突破性的多语言情感语音合成系统，能实现印地语与英语间的实时口音切换，同时准确表达多种情感。该系统在口音准确性上提升23.7%，情感识别准确率达85.3%，为南亚地区教育技术和无障碍软件应用开辟新道路。

美国加州大学洛杉矶分校等机构联合开发的Xolver系统，创新性地让AI学会像奥数团队一样协作解题和积累经验。该系统通过多智能体协作和双重记忆机制，在数学竞赛和编程挑战中取得突破性成绩，即使使用小型模型也能超越大型商用AI，为人工智能的发展开辟了新路径。

特拉维夫大学研究团队提出用"混合因子分析"方法重新理解AI语言模型的内部机制，发现AI思维呈现社区化结构而非简单线性排列。这种新方法将AI的激活空间分解为语义相关的区域中心和局部变化方向，在概念定位和行为控制任务上显著优于传统方法，为精确控制AI、个性化应用和提升AI可解释性开辟了新路径。

印度理工学院团队开发REFINE-AF框架，让小型AI模型通过强化学习自动生成训练指令，无需大量人工标注。该方法在119项测试任务中，63-66%的表现超越传统方法，证明了小模型也能通过巧妙设计获得优异效果，为降低AI训练成本提供了新思路。

vivo和香港中文大学的研究团队开发了UI-R1系统，首次将强化学习技术应用到图形界面操作中。该系统仅用136个训练样本就能让AI学会操作手机、电脑界面，在跨平台测试中表现优异，为智能设备交互开辟了高效的新路径。

新加坡科技设计大学研究团队开发出SonicMaster，这是首个支持自然语言控制的统一音频修复系统。该系统能够同时处理音乐录制中的19种常见问题，包括混响、削波、频响不平衡等，用户只需用普通话描述需求即可获得专业级处理效果。研究团队构建了包含17.5万音频样本的训练数据集，测试显示系统在客观指标和主观听感上均显著优于传统方法，为音频处理技术的普及应用提供了新思路。

上海人工智能实验室的研究团队通过大量实验发现，AI在数学、编程、逻辑推理三个领域的跨域学习中表现出复杂的相互影响：数学与逻辑推理能力相互促进，编程训练效果因模型类型而异，多领域组合训练虽然在单项上可能不如专门训练，但整体表现更均衡。同时，模板一致性、课程学习、奖励设计等因素对AI学习效果影响巨大，中文训练的AI推理能力普遍低于英文训练。

TransPixeler是由香港科技大学和Adobe研究院联合开发的AI视频生成技术，专门解决生成带透明效果（RGBA）视频的难题。该技术巧妙扩展现有视频生成模型，让AI能同时生成RGB颜色和Alpha透明度信息，避免了传统"先生成后提取"方法的缺陷。通过精心设计的注意力机制和训练策略，TransPixeler在有限数据下实现了高质量透明视频生成，为电影特效、游戏开发、VR/AR等领域提供了强大工具。

Good Start Labs与多位独立研究者合作开发了首个让任意大语言模型无需训练即可玩完整外交游戏的评估框架。通过优化文本化游戏状态表示，240亿参数模型就能可靠完成比赛。研究发现模型会自然展现承诺、背叛、联盟等复杂策略行为，且不同模型表现出独特的"外交性格"。该框架大幅降低了AI战略推理研究门槛，为理解语言模型的策略能力提供了新途径。

港科大团队提出的动态掩码稀疏注意力机制通过内容感知的动态掩码生成和位置感知的稀疏计算，让大语言模型学会智能分配注意力资源。该方法在保持完整信息的同时大幅降低计算复杂度，在长序列处理中实现10倍以上加速，并在多项基准测试中超越现有方法，为高效长文本处理提供了新的解决方案。

耶鲁、哥大等四校联合研发的RKEFino1模型，通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识，显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍，数学推理能力从56.87%提升至70.69%，并在新颖的数值实体识别任务中展现良好潜力，为金融AI合规应用开辟新路径。

腾讯优图实验室提出SPEAR方法，通过建立AI"成功经验库"和渐进式探索策略，解决智能体训练中的探索-利用平衡难题。该方法在虚拟环境、网购模拟和数学解题等任务中显著提升AI表现，仅增加10%-25%计算开销却带来高达20%的性能改进，为AI智能体实用化部署提供重要技术突破。

慕尼黑大学研究团队开发了SwarmAgentic技术，这是首个能够完全自主生成智能体系统的框架，无需人工预设模板。该技术借鉴蜂群智能原理，让AI系统自己决定需要什么角色、如何分工协作。在旅行规划等六项复杂任务测试中，SwarmAgentic表现优异，在旅行规划任务上比现有最佳方法提升261.8%，展现了全自动智能体系统设计的巨大潜力。

同济大学研究团队开发的CharacterShot系统实现了突破性进展，仅需一张角色图片和动作序列即可生成高质量4D角色动画。该技术通过双重注意力机制和邻居约束4D高斯点云优化，解决了传统方法中姿态与视角分离建模的难题，将动画制作时间从数月缩短至20-40分钟，为内容创作、游戏开发、教育应用等领域提供了经济便捷的解决方案。

BiomedSQL是由NIH和DataTecnica团队开发的首个生物医学文本转SQL基准，专门评估大型语言模型在生物医学知识库查询中的科学推理能力。这项创新研究构建了一个包含68,000个问题-SQL-答案三元组的数据集，基于整合了基因疾病关联、组学数据和药物记录的BigQuery知识库。与通用文本转SQL系统不同，BiomedSQL测试模型是否能理解隐含的科学约定（如基因组显著性阈值为p<5e-08）并执行多步推理。

Stability AI团队开发的SP4D技术实现了AI视频生成的重大突破，首次让AI能够同时理解物体外观和运动结构。该技术通过双分支神经网络架构和创新的颜色编码方案，生成的视频内容不仅视觉真实，更具备完整的运动学信息，可直接用于专业动画制作，大幅提升了AI生成内容的实用价值和应用前景。

斯坦福大学研究团队开发出SynthesizeMe方法，能让AI通过观察用户的选择自动学习个人偏好，无需填写复杂资料。该方法通过三步流程分析用户互动，生成个性化画像，在理解用户偏好方面准确率提升4.4%。研究还构建了PersonalRewardBench测试平台，为AI个性化能力评估提供标准。这项技术有望应用于智能客服、教育和内容推荐等领域。