亚马逊Nova责任AI团队与亚利桑那州立大学共同开发了AIDSAFE,这是一种创新的多代理协作框架,用于生成高质量的安全策略推理数据。不同于传统方法,AIDSAFE通过让多个AI代理进行迭代讨论和精炼,产生全面且准确的安全推理链,无需依赖昂贵的高级推理模型。实验证明,使用此方法生成的数据训练的语言模型在安全泛化和抵抗"越狱"攻击方面表现卓越,同时保持了实用性。研究还提出了"耳语者"代理技术,解决了偏好数据创建中的困难,为直接策略优化提供了更有效的训练材料。
至顶网 科技行者 2025-06-04 11:15:52