HuggingFace Daily Papers(社区热门论文)·· 2026-09-08AI 评分61
SWE-Bench Pro Verified:修复答案泄露与任务质量问题的软件工程智能体评测基准
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
AI 导读
研究团队发布 SWE-Bench Pro Verified,一个包含 731 个实例的软件工程智能体评测基准,通过仓库重建、测试工件隐藏、元数据匿名化和代码托管域名封堵来阻断答案泄露,并由人类专家最小化修订 102 个存在质量问题的任务。
整理与数据来源:AIHOT
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org