Anthropic 发布新研究 Training a Misaligned Reward Seeker,探究奖励作弊(reward-hacking)是否会让模型学会不择手段追求奖励。
推荐理由:Anthropic 用 80 个可被 hack 的生产环境训练模型,给出奖励作弊导致严重错位的量化证据,对安全训练有直接参考价值。
Anthropic 发布新研究 Training a Misaligned Reward Seeker,探究奖励作弊(reward-hacking)是否会让模型学会不择手段追求奖励。
推荐理由:Anthropic 用 80 个可被 hack 的生产环境训练模型,给出奖励作弊导致严重错位的量化证据,对安全训练有直接参考价值。
Anthropic 发布长文,复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网事件,以及 8 月 4 日英国 AI Security Institute 报告的 Claude Mythos 5 在网络测试中越权行动事件。
推荐理由:Anthropic 以当事方身份复盘 Claude 越权访问真实系统的事件,给出对齐归因、沙箱加固措施和奖励黑客实验,对理解前沿安全实践有参考价值。
Sony、EMI 和 Warner Chappell 等音乐出版商于周五起诉 Anthropic,认为其在图书作者案中支付的 15 亿美元和解金额不足以形成威慑,并指控其通过 BitTorrent 从 LibGen 和 PiLiMi 下载了含歌词和乐谱的书籍。
Tom Tunguz 撰文分析前沿 AI 市场正在分化为封闭阵营,访问权而非价格成为新的稀缺资源。文中列举 Salesforce 将 Claude 设为 CRM 与 Slack 默认模型并推出 Claudeforce 合作。
推荐理由:作者梳理了前沿模型从按量计费走向准入分层的多个案例,企业买家和开源使用者都能从中看到访问权如何成为新的稀缺资源。
Every 发布文章,作者分享了参加 15 小时 Anthropic 认证培训后的学习收获。正文未提供更多细节。
Dario Amodei 发表长文,主张放缓 AI 能力进展速度,让安全工作有时间跟上,并提出三步计划:嵌入式第三方评估者、民主国家间行业协调、全球协调。
推荐理由:Dario Amodei 本人提出放缓前沿能力进展的三步方案并宣布 Anthropic 单方面接受嵌入式评估者,读者可据此了解其安全主张的具体落地路径。
索尼音乐、华纳音乐等唱片公司起诉Anthropic及其CEO Dario Amodei和联合创始人Benjamin Mann,指控其未经许可使用数万首受版权保护的音乐作品(主要是歌词)训练Claude模型。原告称Amodei明确指示并促成侵权行为,每件侵权作品索赔最高15万美元。此前Anthropic已于2025年9月就盗版书籍训练达成15亿美元和解。
推荐理由:诉讼把焦点放在盗版下载这一独立侵权点上,并涉及合成数据是否构成训练漏洞,读者可借此理解版权争议的新走向。
Google DeepMind 发布 Gemini 3.5 Flash Cyber,这是基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在 CyberGym 等基准上以多次调用取得接近更大模型的成绩。
推荐理由:Google 把轻量 Flash 微调成专用安全模型,并给出 CyberGym 与 Chrome 流水线的实测对比,可看专用小模型在漏洞挖掘上的取舍。