Epoch AI 审查 BFCL v4 基准,抽样 50 题发现 48% 存在缺陷
Epoch AI 对 Berkeley Function Calling Leaderboard(BFCL)v4 进行质量审计,从 5,088 道题中按类别权重分层抽取 50 题,发现 24 题(48%)存在可能导致误判的缺陷。
Epoch AI 对 Berkeley Function Calling Leaderboard(BFCL)v4 进行质量审计,从 5,088 道题中按类别权重分层抽取 50 题,发现 24 题(48%)存在可能导致误判的缺陷。
Epoch AI 发布 Benchmark Reviews 文档,列出已审查基准及判定结果,其中 SWE-bench Verified、Terminal-Bench 4.0.0。
Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter,配合 Storage Bucket 挂载与代理路由,让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。
推荐理由:Hugging Face 官方用五个实验展示了如何在 Jobs 上分离训练与推理跑异步 GRPO,并通过逐项定位瓶颈把运行提速 3.9 倍,方法可迁移。
Mistral 帮助一家欧洲能源运营商将 40,000 行 Fortran 77 的油藏模拟器迁移到 C++,该代码库无测试套件且文档分散。团队先搭建数值一致性验证工具,用 Vibe CLI 生成调用树并派出百余个 Agent 补齐文档,最终采用由人类把关的 coder、tester、reviewer 结构化工作流逐模块迁移。
推荐理由:来自一线项目复盘,给出了迁移前搭建数值一致性验证、用 Agent 分工工作流等可直接迁移到其他遗留系统改造的经验。
Google AI 作者 Tilde A. Thurium 与 Annie Wang 对谈,讲解 Loop Engineering 即构建智能体系统反复迭代直到达成可度量目标的四种常见失效模式及修复方法。
Google Developers Blog 发布关于 AI 编码 Agent harness 工程的实践文章,主张用行为评估补充 Terminal-Bench、SWE-bench 等端到端基准。
推荐理由:Google 团队分享用行为评估迭代和守护 AI 编码 Agent 的方法,给出可复用的三步测试循环与示例代码。
Baseten 优化了 pyannote 最新的开源模型 Community-1 与闭源模型 Precision-2,长音频延迟最高提升 9.6 倍,Precision-2 吞吐量提升 3.2 倍。
卡兹克发文讲解GPT-6 Astra的推理强度等级(Reasoning Effort)含义,指出各档位是同一模型的不同思考预算,Ultra则类似拉起多个智能体协作的专项工作组。
推荐理由:作者基于烧完两个200刀会员的第一手使用体感,给出推理等级的通俗解释和分档位省Token的具体用法。
Together AI 发布深度解析文章,介绍开发者从闭源模型转向开源模型所需的 AI 编码栈,提出由 Model、Inference、Gateways、Harness、Tools 组成的 MIGHT 框架。
推荐理由:原文给出开放权重模型编码栈的分层框架,读者可据此按任务选模型、按价格选供应商并保持工作流稳定。
OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。
推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。
OpenRouter 发布教程,演示通过 API 向 google/gemini-3.1-flash-image(即 Nano Banana 2)发送源图和文本指令完成图像编辑,编辑结果以 base64 形式在响应中返回。教程给出 Python 和 TypeScript 示例、提示词写法、多轮小步编辑方法,以及更换模型只需改一个字段,并介绍了 Nano Banana 系列四个成员的价格与质量差异。
推荐理由:原文给出完整可运行的图像编辑请求代码和提示词写法,读者可以照搬并把模型换成其他供应商做对比。
作者发布一个基于 Transformers.js 的 LLM 注意力可视化工具,可悬停查看生成 token 依赖的历史 token,代码开在 GitHub。可视化将所有层、所有注意力头的注意力权重乘以 value 向量模长后聚合为单一数值控制透明度,并预生成提示词避免下载数百 MB 模型;作者还通过修改 onnx 文件暴露内部值,上传到自己的 Hugging Face 仓库供浏览器生成使用。
GitHub 上的 i-have-adhd 项目提供一个 skill,用于防止编码智能体把最终答案深埋在输出里。该项目经由 Hacker News 热门讨论传播,HN 获得 101 分。
作者实测 Qwen3.8 27B 各档 Unsloth 量化(GGUF)在 GPQA Diamond、IFBench 和 Terminal-Bench 2.1 上的表现。
LangChain 发布博客,介绍 deepagents 中的 context modes 如何帮助子智能体分叉 supervisor 的上下文或以隔离方式启动,从而让多智能体工作更快、更省、更聚焦。
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法:提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
推荐理由:官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字,可直接迁移到自己的 Claude API 应用。
Anthropic 团队文章指出,优化 prompt cache 命中率、清除升级到前沿 Claude 模型后的提示词反模式、校准 effort 三个手段可在不牺牲性能的情况下降低成本。
推荐理由:官方团队给出提示词缓存、反模式清理和 effort 校准三条降本路径,并用公开基准实测数字支持,方法可迁移到自己的 Claude 应用。
IBM Research 联合 Red Hat、Google 的开源项目 llm-d 展示在 544 块 NVIDIA H100 GPU 上部署 753B 参数的开放权重 MoE 模型 GLM-5.2(约 39B 激活),在数百到 3000 个并发编码智能体负载下峰值输出超 6.6M tokens 每分钟,零抢占。
Katie McLaughlin 在 Google AI 的 AI 评测系列最终篇中,介绍如何将 Inspect AI 评测的 CSV 数据接入 Data Studio,通过克隆 Master Dashboard Template 并绑定 Google Sheets 数据源,约 30 秒完成无代码交互式仪表盘搭建。
Bottleneck Labs 让 7 个前沿模型各自获得 300 美元启动资金、一台解锁的 Mac mini 和 72 小时真实时间,指令是尽可能赚钱。
作者数字生命卡兹克发布GPT-6 Astra操控Blender的小白教程,介绍前期安装、官方MCP与Computer Use插件配置,并实测三种玩法。Computer Use花约4小时搭出天坛祈年殿,但耗掉200美刀Pro会员近半额度;MCP更快,可完成摩托车建模与组装动画,但复杂任务会单次运行超时,可拆分步骤或用CLI执行Python脚本解决。
推荐理由:作者实测了Computer Use、官方MCP和CLI三种方式并给出各自的速度、成本与适用边界,方法可直接照做。
SemiAnalysis 在 InferenceX 上发布 TPUv7 Ironwood 的首批第三方推理结果,FP8 聚合服务下 Ironwood 每美元性能最高比 B200/B300 高 50%,在 20 tok/s/user 交互速度下每百万 token 成本约 0.181 美元,低于 B200 的 0.222 和 B300 的 0.276 美元。
ByteByteGo 发表长文,系统讲解 LLM 应用如何处理错误与故障。文章指出 LLM 应用除网络超时、429 限流、401/403 认证失败、上下文窗口超限等技术故障外,还面临幻觉、输出非法 JSON、工具误调用等语义故障,需将错误分为瞬时、永久、语义三类再对症处理。
作者分享只用手机远程操控Agent跑任务的新工作流,核心工具是UU远程,出门不再随身背1.62kg的MacBook。文中介绍终端完整支持TUI,可正常操作Claude Code、Codex等Coding Agent,多终端会话可并行;支持手机与电脑双向跨端接管,任务进度和运行状态可保留。
Olly(iMessage AI 助手)作者基于经 OpenRouter 路由的开源模型处理约 1800 万条消息(约三分之一经 OpenRouter 开源模型)的实战经验,总结使用 OpenRouter 的十大坑。
Artificial Analysis 评测显示,OpenBMB 的 MiniCPM5-2B 在 Intelligence Index v4.2 得分 15,为总参数量 4B 以下开源权重模型中最高。
作者实测 GPT-6 Astra 的电脑自动化、3D 和剪辑能力。外置键盘快捷键配置 41 秒一次成功,Blender 海盗船不到 10 分钟完成且给出逐部位生成逻辑,还用关键帧做出 3D 镜头移动视频和星球状的马里奥 3D 游戏关卡。真人口播剪辑经三次修改达到可发布标准,附完整剪辑提示词;PPT 二次美化评定为 6 到 7 分;UI 设计对比仍不及 Claude Fable 5.1。
同一站点延续此前对 Claude Fable 5 和 Fable 5.1 的对比,让 OpenAI 的 GPT-6 Astra 在相同 YAM 机械臂、相同 Inspect Robots agent 策略下完成相同两项任务。
一场耗时 13 小时的 GPT-6 Astra 地狱难度建筑专业任务测试总结,5 项任务总得分 60/100(及格线),消耗 2.1 亿 token。
Simon Willison 分享对面向开发者的 GPT-6 Astra 的试用印象:Astra 在细节把握、理解用户提示词和构建更复杂输出方面全面提升,尤其擅长 3D 建模,他见过它生成花园、船厂、动物、城市景观甚至戴森球的精美渲染,并成功生成了骑自行车的鹈鹕戴红色领巾的场景。
Artificial Analysis 发布 Intelligence Index v4.2,此前其对 GPT-6 Astra 的评分与 Epoch AI、ARC-AGI-3 等评估结果相左而受到质疑。