伊利诺伊大学香槟分校研究团队开发了SafeScientist,一个安全优先的AI科学家框架,能主动拒绝不道德或高风险任务,并在整个研究过程中确保安全。该框架整合了四层防御机制:提示监控、智能体协作监督、工具使用控制和伦理审查。团队还创建了SciSafetyBench基准测试集,包含240个高风险科学任务和120个工具相关风险场景,用于评估AI科学家的安全性。实验表明,SafeScientist比传统框架提高了35%的安全性能,同时不影响科学输出质量,为AI驱动的科学探索提供了安全与创新并重的新范式。
至顶网 科技行者 2025-06-03 13:32:56