这项研究首次提出了"任意条件到文字描述"的视频生成新模式，通过多模态大语言模型将用户的各种创意输入转化为结构化描述，再驱动现有视频生成系统。研究团队构建了包含33.7万实例的大规模数据集，并设计了创新的渐进式训练策略，实现了对图像、人体姿态、摄像机轨迹等多种条件的统一理解，显著提升了视频生成的可控性和质量。

南开大学研究团队创建了InterSyn——首个大规模多模态对话数据集，包含180万单轮和5万多轮样本，覆盖3500个话题。通过创新的SEIR迭代优化方法，显著提升了AI生成文图结合内容的质量。同时开发的SynJudge评价工具能从四个维度评估文图协调性，与人类判断偏差仅5%。实验证明该方法在文图协调性上提升52.1%，为构建更智能的多模态AI系统奠定了基础。

新加坡国立大学研究团队通过分析150多篇相关论文，首次建立了评估提示词质量的21属性框架。研究发现当前提示词研究存在严重不平衡，某些模型和任务被过度关注。通过969个高质量提示词样本分析，团队发现属性间存在强关联性。实验显示单一属性优化往往比多属性组合效果更佳，且用属性增强数据训练的模型表现显著提升。

这项由莫斯科人工智能研究院完成的研究证明了AI可以通过智能特征选择在保持性能的同时大幅提高效率。研究团队开发了基于自编码器和Gumbel-Softmax的特征筛选方法，在文字识别任务中即使删除50%视觉特征也能维持近似性能，为多模态AI系统的效率优化提供了新思路。

香港中文大学(深圳)研究团队开发出FusionAudio-1.2M数据集，创新性地融合音频、视觉、语音和音乐信息来生成详细的音频描述。该研究采用多模态专家系统和大语言模型整合的两阶段方法，构建了包含120万高质量音频描述的大规模数据集。实验表明，使用该数据集训练的AI模型在音频理解和检索任务上显著超越现有方法，为智能语音助手、自动驾驶等领域带来重要应用前景。

塔尔图大学研究团队开发了IAUNet细胞分割系统，这是首个将U-Net与Transformer查询机制结合的生物医学AI技术。该系统能够精确识别明场显微镜下重叠的细胞，性能超越现有方法同时参数更少。研究团队还构建了Revvity-25数据集，包含110张高精度标注图像，每个细胞使用60-400个多边形点精确描绘。IAUNet在多个数据集上均取得最佳性能，为药物研发、疾病诊断等提供重要工具。

北京大学等机构的研究团队开发出PartCrafter技术，能够从单张照片同时生成多个3D零件组成完整模型，无需预先图像分割。该技术采用创新的局部-全局注意力机制，在保证零件细节的同时确保整体协调性。相比传统先整体后分解的方法，PartCrafter生成速度快18倍，质量更优，甚至能重建照片中不可见的部分，为游戏开发、电影制作、工业设计等领域提供了革命性工具。

毫无疑问，Agent，也就是智能体已经预定了今年的最火AI关键词。不知道明年会不会是AGI呢，既然OpenAI和Anthropic的预测都是在2027年左右。而在Agent领域，非常有发言权的一位就是吴恩达。LangChain前不久的开发者活动Interrupt上，LangChain创始人Harrison Chase邀请了吴恩达专门做了一场对话

1997年,国际象棋冠军卡斯帕罗夫,输给了“深蓝”,一台电脑。于是有人恐惧于“机器至上”的终局。

以美国为主的北美市场通常是软件及科技创业者迈向全球的第一步，这里不仅诞生了许多具备产品创新和技术特色的 SaaS 及软件公司，而且在生成式 AI 从硅谷席卷全球的这两年，软件产业也最先被“渗透”，甚至最近有人大呼：“AI 已来，SaaS 将死？”

延世大学研究团队首次让AI具备专业设计师级别的网页说服力评判能力，开发出G-FOCUS智能评估系统和WISERUI-BENCH标准数据库。该技术通过目标导向的四步推理过程，能够像人类专家一样分析网页设计的用户说服效果，准确性达70%且显著减少评判偏见，为快速低成本的设计优化提供了科学可靠的AI辅助方案。

NVIDIA团队开发的Cosmos-Reason1是首个专门针对物理推理的多模态AI系统，通过创新的训练方法让AI具备了理解物理世界和进行具身推理的能力。该系统包含70亿和560亿参数两个版本，采用物理AI监督微调和强化学习两阶段训练，在物理常识和具身推理评测中显著超越现有模型，为机器人、自动驾驶等应用奠定重要技术基础。

2024年7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议即将在浦江之畔揭开帷幕。在“一带一路”倡议提出十周年的时间节点，在AI Agent再次引爆人工智能新热潮的现在，在各类人工智能技术及应用不断融入人们日常生活的当下，此次大会讲“以共商促共享，以善治促善智”作为主题，聚集世界各国代表、顶级专家学者、行业精英、初创团队等，共同探讨在人工智能深度发展时代下的热点话题。

本届大会由外交部、国家发展改革委、教育部、科技部、工业和信息化部、国家网信办、中国科学院、中国科协和上海市政府共同主办，打造“会议论坛、展览展示、评奖赛事、智能体验”四大板块，聚焦人工智能领域前沿技术、产业动向、向善治理等全球人工智能行业普遍关心的领域。

新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展，涵盖超过200项代表性工作。研究将该领域归纳为四大方向：多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型，分析了从RLHF到可验证奖励范式的政策优化策略演进，并识别出样本效率、泛化能力和安全部署等关键挑战，为这一快速发展的交叉学科提供了完整的技术地图。

ByteDance Seed团队发布的Seaweed-7B研究展示了如何用相对较少的计算资源（665,000 H100 GPU小时）训练出高质量视频生成模型。这个70亿参数的模型通过精细的数据处理、创新的VAE压缩技术、混合流架构和多阶段训练策略，在图像转视频任务中排名第二，在多项评估中超越了参数量更大的竞争对手，同时推理速度快62倍，证明了中等规模模型的巨大潜力。

明尼苏达大学团队开发的MPO系统让AI评判具备了类似人类的元认知能力，能够自我反思并动态调整评价标准。该系统有效解决了AI训练中的"奖励欺骗"问题，在文章写作、文档总结、道德推理和数学推理四个任务中都表现出显著优势，为构建更智能、更可靠的AI系统开辟了新路径。

Skywork AI团队通过创新的人机协作数据处理方法，构建了史上最大规模的高质量偏好数据集SynPref-40M，训练出Skywork-Reward-V2系列模型。该系列在七项主要测试中全面超越现有最佳模型，证明了数据质量胜过算法复杂度的重要原理，为AI更好理解人类偏好开辟了新道路。

韩国KAIST团队开发出革命性的"Frame Guidance"技术，这是首个无需训练即可精确控制AI视频生成的通用方法。该技术通过创新的潜在切片和视频潜在优化策略，将内存使用量减少60倍，让普通用户也能精确控制视频中任意帧的内容。实验表明，该方法在关键帧引导、风格化生成等任务上全面超越现有技术，为AI视频创作开启了全新可能。

华为第19届全球分析师大会在深圳开幕。