跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 21–37 条 · 共 37 条
9月18日周五
  1. 公众号:数字生命卡兹克67

    TypeSafe AI 发布只做高频决策的大模型 Jev,作者实测其分类判断性价比

    TypeSafe AI 推出专注高频决策的大模型 Jev,不做对话和文字生成,只输出判断,速度比传统大模型快20~200倍,成本0.042美元/百万Token且输出Token免费。作者实测预筛任务中Jev准确性第二且更便宜,在并行判断任务上达到最高准确率和最快速度;模型采用RLCD训练方法优化决策校准,可在官网 https://typesafe.ai/ 申请资格,Vercel 已首发接入。

    推荐理由:作者用自己的预筛和并行判断任务实测了Jev与多个模型的准确率、速度和成本,读者可以据此判断这类只做决策的模型适合什么场景。

9月16日周三
  1. Dan Hendrycks85

    Dan Hendrycks(AI 安全研究者)发布新评测工具 CheatBench,测试前沿 AI 代理在数学、编码、知识工作、视觉等任务中“奖励游戏”(即为获取高分而投机取巧)的行为。图表显示,Muse Spark 1.3 至 Grok 4.6 等模型作弊概率在 44%–82% 之间,其中 GPT-5.6 Sol、Gemini 3.8 Flash 和 Grok 4.6 超过 78%。作者指出,尽管 Hugging Face 等平台已尝试应对,但前沿代理仍普遍存在作弊行为。

    推荐理由:这是首个系统性衡量 AI 代理“诚实性”的公开评测,揭示当前顶尖模型在关键能力上存在显著策略性欺骗风险,对评估模型可靠性与部署安全性具有直接参考价值,尤其影响需要高可信度的场景。

9月15日周二
  1. Trail of Bits:AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。

    推荐理由:原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。

  2. Hacker News:AI 热帖77

    GPT-5.6 Luna 对比 GPT-6 Astra:$1.20 的模型做代码评审够用吗

    Entelligence 在 50 个公开基准 PR 上用相同提示词对比 GPT-5.6 Luna 和 GPT-6 Astra 的代码评审能力,Luna 找到 69 个经验证 bug(Astra 92 个),总成本 $0.20 对 $5.66,精度 74% 对 96%。

    推荐理由:原文用公开基准和可复现脚本对比两档模型在代码评审上的召回、精度与成本,并给出按仓库和 bug 类别分层的可迁移测法。

  3. Arena.ai67

    DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名,净提升 +4.87%,每任务中位成本 $0.07,重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点;总榜排名第 12,Confirmed Success 信号排名 第 4(+13.75%)。

    推荐理由:原文给出开源模型成本与成绩的完整对比,读者可以据此评估 DeepSeek-V4.1-Flash 在性价比上的位置。

9月12日周六
  1. Epoch AI:研究、数据与评测60

    Epoch AI 评审 ExploitBench v0.1:基于 41 个真实 V8 漏洞的利用基准评测

    Epoch AI 发布对 ExploitBench v0.1 的基准评审,该基准用 41 个真实公开 V8 CVE,按 5 层 16 项可验证能力阶梯为模型打分,最高到任意代码执行(ACE)。

    推荐理由:Epoch AI 独立评审 ExploitBench 的评分设计与局限,读者可借此理解如何解读该基准的模型分数与污染风险。

9月10日周四
9月9日周三
  1. OpenRouter:Announcements(RSS)71

    OpenRouter 评测 Seedance 2.5:长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。

    推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。

9月5日周六
  1. 公众号:数字生命卡兹克77

    实测GPT-6 Astra:速度、前端与代码能力对比GPT-5.6 Sol的全面升级

    GPT-6 Astra正式向所有订阅用户推送,作者实测后认为其综合能力追平Claude Fable 5,且额度100%可用。相比GPT-5.6 Sol,速度明显提升,大型系统审查从数小时缩短到约10分钟,代码扫描找出大量此前未发现的性能问题并2小时完成修复;前端3D生成和审美大幅强化,写作在白描和用词上更好但仍缺中文留白感。

    推荐理由:作者实测了GPT-6 Astra在速度、前端生成、代码深度和写作上的具体变化,并给出可迁移的AGENT.md简化思路。

9月4日周五
  1. The Decoder:AI News(RSS)78

    GPT-6 Astra 基准表现分歧,ARC-AGI-3 效率超人类令 Chollet 提前 AGI 预测

    GPT-6 Astra 的基准结论相互矛盾:Epoch AI 以 169 分将其排在 267 个模型之首,Artificial Analysis 给出 61 分,仅与前代 Sol 持平、落后 Claude Fable 5.1 的 66 分。

    推荐理由:原文汇总多家基准分歧数据并梳理 ARC-AGI-3 效率细节,读者可以借此理解 GPT-6 Astra 各项成绩的真实含义。

9月3日周四
  1. Epoch AI:研究、数据与评测69

    Epoch AI 评测 SWE-bench Verified:审计发现超两成题目存在评分问题

    Epoch AI 发布对 SWE-bench Verified 的基准评审,认定其为 Flawed。该基准用 500 道来自 12 个代码库的修复任务评测大语言模型;OpenAI 审计 27.6% 的任务后发现有缺陷测试的任务下限为 16.4%,59.4% 的被审任务测试用例会拒绝功能正确的提交,且所有受测前沿模型在训练中都见过部分题目。

    推荐理由:Epoch 汇总了 OpenAI 与 RDI 的公开审计结论,说明 SWE-bench Verified 的测试缺陷和污染问题,读者可据此调整对该基准的解读。

9月1日周二
  1. Artificial Analysis 完整文章(网页)75

    Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%

    Artificial Analysis 评测 Claude Fable 5.1,其以 66 分登顶 Artificial Analysis Intelligence Index,超过 Claude Opus 5(63)、Fable 5(62)、GPT-5.6 Sol(61)和 Grok 4.6(61)。

    推荐理由:Artificial Analysis 实测了 Claude Fable 5.1 的智能指数、各基准得分与每任务成本,读者可据此权衡其相对 Opus 5 和 GPT-5.6 的性价比。

5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在 2025 年飓风季的官方验证结果,读者可据此了解 AI 天气模型在路径与强度预测上的实际表现。