Common Sense Media 将 ChatGPT for Teens 评为不可接受风险
Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,称其设计仍在鼓励青少年持续对话,即使在心理危机场景中也是如此。
Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,称其设计仍在鼓励青少年持续对话,即使在心理危机场景中也是如此。
Mistral 发布 Mistral Large 4,模型可通过 llm 命令行工具以 mistral/mistral-large-4 调用。Simon Willison 用同一提示词让 Mistral Large 4 与 Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flash 分别生成 SVG 进行对比。
微软研究院合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评测如何推动 AI 系统性能边界、以及模型在传统 benchmark 之外测试时出现的「意外失败」。她分享了使用当前 AI 系统的实用建议,并强调当结果与预期不符时应仔细审视数据。
Simon Willison 让 Claude Opus 5.5 为电脑游戏作曲,要求先设计简单的文本音乐格式,再构建可播放的 artifact 并附示例曲目,风格对标《猴岛小英雄》。结果模型比预期更贴近猴岛主题,成品质量出人意料地好。他猜测这种作曲能力可能类似文本模型的 3D 图形能力,是近几个月才涌现的新能力,但需用更多新旧模型做实验才能确认。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 PR。
推荐理由:GitHub 公开了代码审查基准的构建方法与评分口径,读者可据此理解 AI 代码审查评测如何贴近真实 PR 分布。
Amazon Bedrock AgentCore Evaluations 提供内置与自定义评估器,用于在多智能体系统的开发和生产阶段衡量准确性、任务成功率与行为表现。
NASA 与 IBM Research 联合多家学术机构发布 NASA-IBM Lunar Foundation Model,称其为最早的开源月球科学基础模型之一。
OpenAI 发布 GPT-6.1 Sol,定价 $2/$10 per million input/output tokens,比 Astra 的 $10/$50 大幅降低;据称在 DeepSWE v1.1 上超 GPT-6 Sol 6.4 分、在 AutomationBench 上超 Opus 5.5 2.2 分。
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片写出可执行的 Blender 程序,并迭代修改直到场景匹配原图。配套基准 LEGO-Bench 包含 104 个场景的 208 张图像,最佳模型 GPT-6 Astra 在室内场景准确率 53.4%、室外仅 39.6%,弱配置约 15%。
OpenAI 本周发布智能体平台 Dots,作者以每月 100 美元的 Pro 账号实测,发现它更像能操作其他软件的工作软件,而非个人购物助手。Dots 可访问 Blender、GIMP 等应用,也能通过桌面版 ChatGPT 接入用户电脑,但在预约网络安装、登录宜家账户和订餐时多次卡在安全验证,需要人工接管。
Mercor 让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上更快、更准、成本更低。
Graphite 研究发现 Claude Opus 5.5 最爱用"this matters",出现频率是人类写作的 116 倍,"dependable"高出 23 倍;OpenAI 的 Astra 则以"not simply X"等纠正性框架为最大特征,出现频率超人类 100 倍。
MIT 研究者 Alex Zhang 在 Latent Space 播客中详解递归语言模型(RLM),其基于 RLM 的 harness 是首个接近解决 ARC-AGI-3 的系统,早于 OpenAI 的 Astra。
蚂蚁百灵 Ling-3.0-flash-Fin 在 FrontierFinance System Performance 与 Vals AI Finance Agent v2 两项金融智能体评测中取得领先。
三位湾区科技从业者组成 DrivingBench,用 Comma 套件把 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol 接入丰田卡罗拉的转向、油门和刹车,在公共停车场锥形路线上测试未专门训练的前沿模型能否开车。
该论文在 9 个领域、34 项能力和 55 个基准上评测 GPT-6 Astra 及五个前沿通用 AI 系统,并与专用模型和人类参考水平比较。Astra 在视觉与空间推理及多种结构化预测上显著领先其他系统;语义解释、推理和以物体为中心的预测接近或达到参考水平,但在度量几何精度、忠实重建、时序一致的密集预测和细粒度专业知识上仍有较大差距,附加推理与专用工具只能弥合部分缺口。
作者实测 Anthropic 新发布的 Claude Sonnet 5.5,用代码动画、HTML PPT、3D 网页和写作四项任务对比 Opus 5.5 与 gpt6。
研究者推出 SolveEdit 基准,用于评估生成模型通过场景变换完成视觉问题求解的能力,包含 2,728 个案例,并用原子变换契约与 SolveScore 在无需参考输出的情况下衡量完成度与误改。
Arena 于 9 月 26 日分析 Text Arena 高推理回复,发现 Claude Opus 5.5 相比 Opus 5 破折号使用量下降约 95%(每 1,000 个单词从 15.2 个降至 0.8 个),分号下降 73%(从 6.10 个降至 1.64 个)。
Arena 宣布 GPT-6 Luna (Max) 进入 Agent Arena Pareto 前沿,净改进 +1.59%,中位成本每任务 $0.05。
推荐理由:Arena 用 8K 真实智能体会话数据给出 GPT-6 Luna (Max) 的排名与成本对比,读者可据此权衡其性价比定位。
MicroLLM Lab 上线,可在浏览器内直接试用 7 款微型 LLM,并支持用 JavaScript 编写基准测试。测试以正则或精确 token 做客观校验,不评判写作质量,135M 模型允许失败,这本身就是测量结果。运行会记录 tokens/s 持续解码速度与客观测试通过率,数据只留在本机,图表按每个模型的最新测试套件展示。
Artificial Analysis 发布对 Claude Sonnet 5.5 的评测:其智能指数得分 56,max effort 下比 Sonnet 5 高 18 分,升至第 2 名,仅落后 Opus 5.5 (max)。
推荐理由:Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token,成本细节对选型有直接参考价值。
推荐理由:Arena 介绍了其 Agent Arena 的评测方式,读者可以据此理解 Claude Sonnet 5.5 在真实智能体任务上的衡量口径。
推荐理由:Artificial Analysis 用自家基准拆解了性能与 token 成本的权衡,为选型提供了可对比的量化参考。
Arena 公布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。
推荐理由:榜单给出了 Claude Opus 5.5 (High) 在 Agent Arena 的排名、价格与分项信号,读者可据此权衡它与 Opus 5 各档的成本与能力变化。
UC Berkeley 团队构建全自动 AI Agent 审计 13 个广泛使用的基准,发现 45 个作弊方案,全部基准被评为 critical 风险,共归纳 16 种攻击类型。
推荐理由:原文给出了13个常用基准的45个作弊方案细节和防范设计原则,读者可以据此检查自己依赖的评测是否可信。
WideSWE 是用于评估编码智能体跨仓库任务的新基准,从 103 个软件生态系统中挖掘出 120 个真实任务,包含 60 个 bug 修复和 60 个功能开发。
TraceDance 是一个从真实部署轨迹自动构建智能体行为基准的系统,通过 Anchor-and-Confirm 与 Anchor Synthesis Loop 针对用户指定的不良行为生成测试。
十字路口团队实测了 9 月在国内开放的 Personal AI 助理产品 Today AI,覆盖 macOS、Windows、Linux、iOS 四个平台。
Arena 宣布 OpenAI 的 GPT-6 Sol (Max) 进入 Agent Arena,基于 4K+ 真实智能体会话取得 +7.7% 净改进,排名第 6,中位成本 $0.75/task。
推荐理由:榜单方基于四千多场真实智能体会话给出成本与得分对比,读者可据此权衡 GPT-6 Sol (Max) 在性价比上的位置。