这项研究提出了一种交互式物体感知的图像到音频生成模型,让用户能够针对图像中选定的特定物体生成相应声音。研究团队将物体中心学习整合到条件潜在扩散模型中,通过多模态注意力机制学习图像区域与声音的对应关系。用户可通过分割蒙版选择目标物体,系统会精确生成相关音频。理论分析证明其注意力机制在功能上等同于测试时的分割蒙版,确保了生成音频与选定物体的准确对应。实验表明该模型在声音-物体对齐方面显著优于现有技术,为内容创作、虚拟现实和辅助技术等领域开辟了新可能。
至顶网 科技行者 2025-07-07 17:33:28