斯坦福大学研究团队深入分析了广泛使用的AI评判系统Arena-Hard Auto，发现了三个重大问题：AI评委经常不按既定标准评判（规划失效），不同评判维度高度重合无法独立区分（因子坍塌），以及ELO评分系统通过数学变换掩盖了底层的不确定性。研究开发了专门的诊断工具来检测这些问题，并提出了改进建议，对依赖AI评判系统的学术研究和商业应用具有重要警示意义。

这项由18所顶尖高校联合开展的研究推出了革命性的AI代理评估平台xbench，彻底改变了传统以技术能力为中心的评测方式，转而采用真实职业场景的实战检验。研究团队在招聘和营销两个专业领域构建了完整的评估体系，让AI代理像实习生一样直接承担真实工作任务，用实际成果证明商业价值。通过对九个主流AI代理的全面测试，发现不同模型在专业任务中的表现差异显著，技术评测高分未必转化为实用价值。

华为开发者大会2022（Together）今天在东莞松山湖揭开帷幕，带来了鸿蒙生态的最新成果，展示了鸿蒙生态的全新格局。

最近我们留意到“World of DaaS”节目邀请到了一位重量级嘉宾——安妮·杜克（Annie Duke）。她的履历堪称传奇：前职业扑克冠军，职业生涯中斩获逾400万美元奖金，并将2004年世界扑克系列赛金手链收入囊中。如今，她成功转型为决策策略领域的权威专家，著有《对赌：信息不足时如何做出高明决策》与《放弃：懂得何时放手的力量》等畅销作品。在这期视频中，安妮·杜克与主持人展开深度对话，一步步剖析风投在项目评估过程中常见的认知陷进，并分享了如何运用决策科学的原则来优化投资策略、提升决策质量。

他们出生于互联网环境中，对拥抱新事物新技术充满热情，生成式人工智能的飞跃发展，也大大降低了创业的门槛。