跳到正文

#评测/基准

今日 0 条
9月18日周五
9月17日周四
9月16日周三
9月15日周二
  1. Trail of Bits:AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。

    推荐理由:原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。

  2. Arena.ai67

    DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名,净提升 +4.87%,每任务中位成本 $0.07,重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点;总榜排名第 12,Confirmed Success 信号排名 第 4(+13.75%)。

    推荐理由:原文给出开源模型成本与成绩的完整对比,读者可以据此评估 DeepSeek-V4.1-Flash 在性价比上的位置。

9月13日周日
9月12日周六
  1. Epoch AI:研究、数据与评测60

    Epoch AI 评审 ExploitBench v0.1:基于 41 个真实 V8 漏洞的利用基准评测

    Epoch AI 发布对 ExploitBench v0.1 的基准评审,该基准用 41 个真实公开 V8 CVE,按 5 层 16 项可验证能力阶梯为模型打分,最高到任意代码执行(ACE)。

    推荐理由:Epoch AI 独立评审 ExploitBench 的评分设计与局限,读者可借此理解如何解读该基准的模型分数与污染风险。

9月11日周五
9月10日周四
9月9日周三
  1. OpenRouter:Announcements(RSS)71

    OpenRouter 评测 Seedance 2.5:长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。

    推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。

9月7日周一
9月5日周六
9月4日周五
9月3日周四
  1. Artificial Analysis70

    Artificial Analysis 评测显示,阿里巴巴 Wan 3.0 在视频编辑带音频榜单首次登顶第一,文生视频带音频位列第二,图生视频带音频排名第五。该模型为一体化视频生成与编辑模型,支持最长 30 秒 1080p 原生音频输出,可接受文本、图片、视频、音频、文档和网页作为创作参考,并支持指令式编辑画面、剧情、对话和声音。

  2. Epoch AI:研究、数据与评测69

    Epoch AI 评测 SWE-bench Verified:审计发现超两成题目存在评分问题

    Epoch AI 发布对 SWE-bench Verified 的基准评审,认定其为 Flawed。该基准用 500 道来自 12 个代码库的修复任务评测大语言模型;OpenAI 审计 27.6% 的任务后发现有缺陷测试的任务下限为 16.4%,59.4% 的被审任务测试用例会拒绝功能正确的提交,且所有受测前沿模型在训练中都见过部分题目。

    推荐理由:Epoch 汇总了 OpenAI 与 RDI 的公开审计结论,说明 SWE-bench Verified 的测试缺陷和污染问题,读者可据此调整对该基准的解读。

9月2日周三
9月1日周二
  1. Artificial Analysis 完整文章(网页)75

    Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%

    Artificial Analysis 评测 Claude Fable 5.1,其以 66 分登顶 Artificial Analysis Intelligence Index,超过 Claude Opus 5(63)、Fable 5(62)、GPT-5.6 Sol(61)和 Grok 4.6(61)。

    推荐理由:Artificial Analysis 实测了 Claude Fable 5.1 的智能指数、各基准得分与每任务成本,读者可据此权衡其相对 Opus 5 和 GPT-5.6 的性价比。

8月13日周四
  1. Microsoft Research38

    微软发布 MindTopo 基准,揭示多模态模型拓扑推理短板

    Microsoft Research 推出 MindTopo 基准,用于评估多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类任务,并区分静态识别与交互规划两个认知层级。测试显示,当前专有与开源模型在静态推理上明显强于交互规划,且两者均远低于人类水平;失败多出现在规划阶段而非感知阶段,模型在场景变化后难以维持结构关系。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列仍不可靠。

8月12日周三
5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在 2025 年飓风季的官方验证结果,读者可据此了解 AI 天气模型在路径与强度预测上的实际表现。