跳到正文
原文
elvis· @omarsar0 · X·· 14 天前AI 评分45
AI 导读

一项研究用200道题(仅为完整基准的38.5%)复现了生产级分析智能体的完整评分,误差在1.03分以内。作者基于574次历史基准运行,对比了随机采样、缓存结果、固定代表性子集和基于项目反应理论的自适应测试,其中多维2PL自适应测试保真度最高。团队最终部署了难度分层的固定子集,因其更易运行,且无需重新校准即可迁移到五个其他智能体家族,校准窗口短至一天仍保持稳定。

整理与数据来源:AIHOT

来源:elvis · x.com