微软研究员 Jennifer Neville：AI 评测的意外失败能教会我们什么
微软研究院合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈，讨论评测如何推动 AI 系统性能边界、以及模型在传统 benchmark 之外测试时出现的「意外失败」。她分享了使用当前 AI 系统的实用建议，并强调当结果与预期不符时应仔细审视数据。
#评测/基准
#评测/基准
今日 0 条Microsoft ResearchAI 评分2222
GitHub Blog · AI & ML精选AI 评分6060 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub PR 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由：GitHub 公开了代码审查基准的构建方法与评分口径，读者可据此理解 AI 代码审查评测如何贴近真实 PR 分布。
AWS Machine Learning BlogAI 评分2828 用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 提供内置与自定义评估器，用于在多智能体系统的开发和生产阶段衡量准确性、任务成功率与行为表现。
公众号：蚂蚁百灵（Ling）AI 评分3333 百灵 Ling-3.0-flash-Fin 在两项金融智能体评测中取得领先
蚂蚁百灵 Ling-3.0-flash-Fin 在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项金融智能体评测中取得领先。
Arena.ai@arenaAI 评分5959Arena 宣布 GPT-6 Luna (Max) 进入 Agent Arena Pareto 前沿，净改进 +1.59%，中位成本每任务 $0.05。
- Arena.ai@arena精选AI 评分7777
推荐理由：Arena 用 8K 真实智能体会话数据给出 GPT-6 Luna (Max) 的排名与成本对比，读者可据此权衡其性价比定位。
Artificial Analysis 完整文章（网页）精选AI 评分8080 Claude Sonnet 5.5 达到 Artificial Analysis 智能指数第 2 名
Artificial Analysis 发布对 Claude Sonnet 5.5 的评测：其智能指数得分 56，max effort 下比 Sonnet 5 高 18 分，升至第 2 名，仅落后 Opus 5.5 (max)。
推荐理由：Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token，成本细节对选型有直接参考价值。
- Arena.ai@arena精选AI 评分6969
推荐理由：Arena 介绍了其 Agent Arena 的评测方式，读者可以据此理解 Claude Sonnet 5.5 在真实智能体任务上的衡量口径。
Artificial Analysis@ArtificialAnlys精选AI 评分8282推荐理由：Artificial Analysis 用自家基准拆解了性能与 token 成本的权衡，为选型提供了可对比的量化参考。
- Arena.ai@arenaAI 评分6868
- Arena.ai@arenaAI 评分7373
- Arena.ai@arena精选AI 评分7575
Arena 公布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2，净改进分 +12.15%，仅次于 Fable 5.1 (Max)。
推荐理由：榜单给出了 Claude Opus 5.5 (High) 在 Agent Arena 的排名、价格与分项信号，读者可据此权衡它与 Opus 5 各档的成本与能力变化。
- Artificial Analysis@ArtificialAnlysAI 评分6161
- Artificial Analysis@ArtificialAnlysAI 评分5555
Berkeley RDI：Blog（AI 安全与评测）精选AI 评分7575 UC Berkeley 团队用 AI Agent 审计 13 个基准，发现 45 个无需解题的满分作弊方案
UC Berkeley 团队构建全自动 AI Agent 审计 13 个广泛使用的基准，发现 45 个作弊方案，全部基准被评为 critical 风险，共归纳 16 种攻击类型。
推荐理由：原文给出了13个常用基准的45个作弊方案细节和防范设计原则，读者可以据此检查自己依赖的评测是否可信。
Arena.ai@arena精选AI 评分6767Arena 宣布 OpenAI 的 GPT-6 Sol (Max) 进入 Agent Arena，基于 4K+ 真实智能体会话取得 +7.7% 净改进，排名第 6，中位成本 $0.75/task。
推荐理由：榜单方基于四千多场真实智能体会话给出成本与得分对比，读者可据此权衡 GPT-6 Sol (Max) 在性价比上的位置。
- Arena.ai@arenaAI 评分5656
Arena 宣布 Grok 4.7 (xHigh) 进入 Agent Arena 榜单第16位，净改进分 +3.96%。
- Arena.ai@arenaAI 评分6161
Artificial Analysis 完整文章（网页）AI 评分4040 Artificial Analysis 发布 Cyber Index 网络安全评估联盟
Artificial Analysis 推出 Cyber Index，整合 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项评估，覆盖从代码审计、漏洞发现到复现与修补的防御全流程。该指数基于 Stirrup 开源代理框架运行，重点测试模型在拥有源代码访问权限下的漏洞识别与修复能力，并单独记录因安全原因拒绝任务的情况。目前暂不包含利用漏洞生成攻击载荷的能力评估。
- Arena.ai@arenaAI 评分6868
Artificial Analysis@ArtificialAnlys精选AI 评分6868推荐理由：原文给出 Opus 5.5 在三项编码评测的具体分数、token 用量和任务成本，读者可以据此权衡性能与价格。
- Artificial Analysis@ArtificialAnlys精选AI 评分7070
推荐理由：原文给出智能指数与单任务成本的 Pareto 前沿新点位和具体分数价格，可用于横向比较各家模型性价比。
- Arena.ai@arena精选AI 评分7575
推荐理由：原文给出真实投票榜单的排名、价格和多分类变化，可以据此比较 GPT-6 Sol 在性能与成本上的位置。
- Artificial Analysis@ArtificialAnlysAI 评分6161
METR：Blog（网页）精选AI 评分6262 METR 发布 Claude Opus 5.5 部署前评估摘要
METR 发布对 Claude Opus 5.5 的部署前评估摘要，基于 10 个工作日的 API 能力测试和五个任务（Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight）。
推荐理由：METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论，读者可据此了解部署前评估的证据基础与判断边界。
- Artificial Analysis@ArtificialAnlysAI 评分7171
- Arena.ai@arenaAI 评分6161
- Artificial Analysis@ArtificialAnlysAI 评分5252
- Artificial Analysis@ArtificialAnlysAI 评分5353
Artificial Analysis 完整文章（网页）精选AI 评分7878 Artificial Analysis 评测 GPT-6 Sol 和 Luna：价格减半但各项表现有升有降
Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna，两模型价格较 GPT-5.6 约减半，Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。
推荐理由：Artificial Analysis 用自家指数实测两代模型的成本与表现，读者可据此判断 GPT-6 降价后哪些能力持平或退步。
- Artificial Analysis@ArtificialAnlysAI 评分8585
- Arena.ai@arena精选AI 评分7272
推荐理由：Arena 官宣 Claude Opus 5.5 上架 Agent Arena 和 Battle Mode，读者可以参与投票影响排行榜结果。
Artificial Analysis 完整文章（网页）精选AI 评分8282 Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index
Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58，为其测得的最高分，并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平（59.6%）。
推荐理由：原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化，读者可据此比较智能与任务成本。
OpenRouter：Announcements（RSS）精选AI 评分6262 OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本
OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。
推荐理由：原文用同一测试流程给出两家模型的准确率、延迟与成本数据，并演示了基于置信度的级联路由方法，便于读者按自身流量权衡选型。
- Artificial Analysis@ArtificialAnlysAI 评分7979
Artificial Analysis 评测显示 Claude Opus 5.5 以 58 分登顶 Artificial Analysis Intelligence Index，为其实测最高分。
- Artificial Analysis@ArtificialAnlys精选AI 评分6565
推荐理由：Artificial Analysis 实测 Step 5 Preview 的得分、成本与智能体短板，读者可据此对比同分段模型的表现与性价比。
Artificial Analysis 完整文章（网页）精选AI 评分6868 Artificial Analysis 评测 Grok 4.7：智能指数 46 分进入前四，编码智能体升至第 4
Artificial Analysis 发布 Grok 4.7 评测，Grok 4.7（xhigh）智能指数得 46 分，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四；搭配 Grok Build 的编码智能体指数从 47 升至 56，仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。
推荐理由：评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象，读者可据此判断其真实水平与成本。
- Artificial Analysis@ArtificialAnlysAI 评分6666
- Artificial Analysis@ArtificialAnlysAI 评分6161