跳到正文

评测基准

模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

37条精选相关主题模型发布论文研究推理能力

最新精选

第 1–20 条 · 共 37 条
10月6日周二
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub PR 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。

    推荐理由：GitHub 公开了代码审查基准的构建方法与评分口径，读者可据此理解 AI 代码审查评测如何贴近真实 PR 分布。

9月29日周二
  3. Arena.ai69

    Arena 宣布 Anthropic 的 Claude Sonnet 5.5 已进入 Agent Arena，并开放投票。Agent Arena 基于全球用户数百万个真实的长程智能体任务评测模型，模型可使用 web search、filesystem 和 terminal 工具完成复杂工作流，榜单用因果追踪方法衡量模型相对平均模型的结果表现。

    推荐理由：Arena 介绍了其 Agent Arena 的评测方式，读者可以据此理解 Claude Sonnet 5.5 在真实智能体任务上的衡量口径。

9月28日周一
  1. Berkeley RDI：Blog（AI 安全与评测）75

    UC Berkeley 团队用 AI Agent 审计 13 个基准，发现 45 个无需解题的满分作弊方案

    UC Berkeley 团队构建全自动 AI Agent 审计 13 个广泛使用的基准，发现 45 个作弊方案，全部基准被评为 critical 风险，共归纳 16 种攻击类型。

    推荐理由：原文给出了13个常用基准的45个作弊方案细节和防范设计原则，读者可以据此检查自己依赖的评测是否可信。

9月26日周六
9月24日周四
9月23日周三
  1. METR：Blog（网页）62

    METR 发布 Claude Opus 5.5 部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要，基于 10 个工作日的 API 能力测试和五个任务（Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight）。

    推荐理由：METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论，读者可据此了解部署前评估的证据基础与判断边界。

  3. Arena.ai72

    Arena 宣布 Anthropic 的 Claude Opus 5.5 已进入 Agent Arena，用户可通过投票驱动排行榜。Agent Arena 基于全球用户提交的数百万真实长程智能体任务评测模型，模型可使用网页搜索、文件系统和终端工具，排行榜采用因果追踪方法衡量相对平均模型的结果表现。

    推荐理由：Arena 官宣 Claude Opus 5.5 上架 Agent Arena 和 Battle Mode，读者可以参与投票影响排行榜结果。

  4. Artificial Analysis 完整文章（网页）82

    Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index

    Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58，为其测得的最高分，并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平（59.6%）。

    推荐理由：原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化，读者可据此比较智能与任务成本。

  5. OpenRouter：Announcements（RSS）62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。

    推荐理由：原文用同一测试流程给出两家模型的准确率、延迟与成本数据，并演示了基于置信度的级联路由方法，便于读者按自身流量权衡选型。

9月22日周二
  1. 公众号：数字生命卡兹克72

    卡兹克实测对比 Grok 4.7 与小米 MiMo V2.6：后者成不可能三角版本答案

    作者实测同日凌晨发布的 Grok 4.7 与小米 MiMo V2.6，认为 Grok 4.7 低于预期，MiMo V2.6 成为性能、价格、速度三角的当前版本答案。

    推荐理由：作者亲手测试并给出价格、速度和基准对比，读者可以据此评估小米 MiMo V2.6 对自身工作流和成本的实际影响。

  2. Artificial Analysis65

    Artificial Analysis 评测阶跃星辰 Step 5 Preview，其在 Artificial Analysis Intelligence Index 得 44 分，与 Kimi K3 (max) 持平，略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分，每任务成本约 $0.72，约为同级模型（约 $2.00）的 1/2.8。

    推荐理由：Artificial Analysis 实测 Step 5 Preview 的得分、成本与智能体短板，读者可据此对比同分段模型的表现与性价比。

  3. Artificial Analysis 完整文章（网页）68

    Artificial Analysis 评测 Grok 4.7：智能指数 46 分进入前四，编码智能体升至第 4

    Artificial Analysis 发布 Grok 4.7 评测，Grok 4.7（xhigh）智能指数得 46 分，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四；搭配 Grok Build 的编码智能体指数从 47 升至 56，仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。

    推荐理由：评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象，读者可据此判断其真实水平与成本。

9月18日周五