微软研究员 Jennifer Neville：AI 评测的意外失败能教会我们什么

微软研究院合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈，讨论评测如何推动 AI 系统性能边界、以及模型在传统 benchmark 之外测试时出现的「意外失败」。她分享了使用当前 AI 系统的实用建议，并强调当结果与预期不符时应仔细审视数据。

Latent Space 对话 MIT 的 Alex Zhang：从 GPU Kernel 到递归语言模型 RLM

MIT 研究者 Alex Zhang 在 Latent Space 播客中详解递归语言模型（RLM），其基于 RLM 的 harness 是首个接近解决 ARC-AGI-3 的系统，早于 OpenAI 的 Astra。

Thomas Wolf@Thom_WolfAI 评分4848

人们感到担忧，因为这种作弊率骤降最可能的解释是评测意识：最新的 Opus 模型或许已经聪明到能识别出这个基准测试是在考察作弊行为，并据此调整表现。 若果真如此，这个基准测试就不再能衡量模型"自然"的作弊倾向了。

Diogo Almeida@CompleteSkepticAI 评分2323

再次重申，我极度反对基准测试（：

Yuchen Jin@Yuchenj_UWAI 评分99

一张图看懂基准刷分内卷的巅峰 LOL。

Artificial Analysis@ArtificialAnlys精选AI 评分7070

Artificial Analysis 称本周 MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna 和 GPT-6 Sol 的发布在 Intelligence Index 与每任务成本 Pareto 前沿上新增十一个点位，其中 GPT-6 Luna 贡献五个，Claude Opus 5.5 贡献四个。

Arena.ai@arena精选AI 评分7575

Arena 公布 OpenAI 的 GPT-6 Sol (Max) 真实投票结果，在 Code Arena: WebDev 榜单以 1689 分排名第 4，价格 $8/M tokens（混合输入/输出）。

Arena.ai@arenaAI 评分5656

Arena 基于 8 月 1 日至 9 月 13 日的 20,840 条 Agent Arena: Code 轨迹、29 个模型部署，用 LLM-as-a-judge 提取用户表扬与抱怨并归入 15 类驱动因素。

karminski-牙医@karminski3AI 评分5757

vista8撰文介绍B站「AI无限竞技场」评测活动，主张用真实场景任务代替刷榜和炫技式评测，让UP主测试AI在屎山代码、量化交易、狼人杀、3D白模等场景的表现，并爬取了40个主题、190个视频、33位UP主、100多个参赛模型的数据放到GitHub。榜单前三为GPT6-Astra、Fable 5.1、GLM-5.3；karminski转发评价B站总算开窍了。

Trail of Bits 批评 1Password 的 AI 补丁基准存在误导，并发布两个补丁验证 Agent 技能

Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告，称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真，包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试，以及不同推理档位设置。

-Zho-@ZHO_ZHO_ZHOAI 评分6767

作者 Zho 发布 3 天高强度实测 GPT Images 2.5 的数据统计与问题总结，总计 730 张、日均 243 张，总体感分 82/100，生成成功率 96.6%，一次到位体感 75–80%，专业连续编辑能力 74/100。

Epoch AI@EpochAIResearchAI 评分6363

Epoch AI 称 FrontierMath Tier 4 的所有题目现已被 AI 解出，最后一题由 GPT-6 Astra 解出。出题人 Jay Pantone 表示 Astra 的解法与其自己的思路非常接近，未发现重大数值捷径，并称六个月前若有模型解出会令他震惊，如今已难以感到意外。

Rohan Paul@rohanpaul_aiAI 评分5151

Rohan Paul 引用 Andon Labs 的 Vending-Bench 2 结果，GPT-6 Astra 平均赚 $15,515，六次独立运行中 Claude Fable 5.1 平均 $5,422。

Rohan Paul@rohanpaul_aiAI 评分6262

Meta 的 Muse Spark 1.3 Max 在 Code Arena WebDev 类别以 1650 分、混合价 $3.50/M tokens 排名总榜第 8，是 $5/M 以下得分最高的模型。

Arena 第 36 周 AI 大模型盲测榜：国产多模型扎堆入榜前端开发榜，阿里 wan3.0 冲进视频榜前三

Arena（arena.ai）平台发布 2026 年第 36 周（8 月 31 日~9 月 6 日）AI 大模型盲测排名。

dex@dexhorthyAI 评分2020

Dex Horthy 以“这才是真正的 slop”为题转发 SlopCodeBench 更新，称 Astra 已加入该评测。

Rohan Paul@rohanpaul_aiAI 评分6161

Epoch AI 评测显示 GPT-6 Astra 以 169 分创下 ECI（Epoch Capabilities Index）新纪录，较此前最高分 163 提升 6 分，但在其推理时代趋势的不确定区间内。

Sherwin Wu@sherwinwuAI 评分6060

GPT-6 Astra 在 Mercor 的 APEX-Agents 排行榜首次上榜即排名第一，Mean score 62.4%（第1），Pass@1 46.7%（第2），Mean 领先 Fable 5.1 0.4 分、Pass@1 落后 0.8 分。

🚨 AI News | TestingCatalog@testingcatalogAI 评分6767

GPT-6 Astra 在 ARC-AGI-3 上以标准 harness 得分 63%，经新的 provider adapter harness 可达 99%，并在 96% 的关卡上动作效率超过受测人类中位数。ARC Prize 观察到它能将陌生环境转化为紧凑的符号世界模型，把游戏机制表示为逻辑规则并自建领域速记语言来跟踪状态和规划动作。

François Chollet@fchollet精选AI 评分8181

François Chollet 发文称 GPT-6 Astra 在交互式推理任务上带来阶跃式能力提升，使用标准 harness 在 ARC-AGI-3 上得 66%，配合持续对话 harness 和自定义 compaction 接近 100%，每局成本约 $360。

-Zho-@ZHO_ZHO_ZHOAI 评分2525

GPT-6 Astra 在 ARC-AGI 3 上取得 98.6%，而上一代 GPT-5.6 Sol 为 7.8%，作者连用多个问号表示难以置信。附图还显示其在 FrontierMath Tier 4 (v2) 得 97.6%、ExploitBench 得 100%、SRE-Bench (four attempts) 得 99.2%。

Rohan Paul@rohanpaul_aiAI 评分6868

@arcprize 公布 Anthropic 的 Fable 5.1 在 ARC-AGI（Verified）上的成绩：ARC-AGI-2 得分 90.0%，成本 $3.12/task；ARC-AGI-1 得分 97.5%，成本 $1.40/task。两个基准上平均单任务成本比 Fable 5 低约 32%，主要来自更好的 token 效率。

Yuchen Jin@Yuchenj_UWAI 评分4646

Yuchen Jin 转发评测图称 Databricks 上 GLM-5.3 输出速度达 310 tok/s，端到端响应 8.9 秒，在多家 API 提供方中速度与延迟均排第一。他还称在 Databricks 内部编码基准上，GLM-5.3 是编码最强的开源权重模型，可与 Fable 5 和 Opus 4.8 竞争。

Hao AI Lab@haoailabAI 评分4040

Physion Labs 独立评测了 H3 Max（fal）、MiniMax H3 和 FastH3 preview 三款模型，覆盖机器人、动画、电影和广告场景，H3 Max 综合领先，FastH3 preview 在整体 Prompt Adherence 上超过 H3，差距主要体现在 Visual Integrity 和 Human Preference。