AI 安全需要从上下文到行动的溯源链
生产级 AI 系统由检索、模型推理、工具调用、API 访问与跨系统操作等多层串联而成,安全风险往往出现在层与层之间的接缝处,因此关键不在于单个组件是否安全,而在于组织能否在转换过程中保留溯源信息。
生产级 AI 系统由检索、模型推理、工具调用、API 访问与跨系统操作等多层串联而成,安全风险往往出现在层与层之间的接缝处,因此关键不在于单个组件是否安全,而在于组织能否在转换过程中保留溯源信息。
我们如何看待保障前沿 RL 训练运行的安全:https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
Manus 昨夜发布 2.0 版本,包含新 agent 架构 Cascade、云电脑与自动化、可剪视频、生视频和做在线多人游戏的 Manus Studio,以及Personal Agent 产品 Cue。
MIT 教授 Sherry Turkle 的新书《Artificial Intimacy: Who We Become When We Talk to Machines》由 Little, Brown and Company 出版,基于访谈论述聊天机器人的伪共情正在削弱儿童发展与成人社交能力。
每一天,Jev 都在自动化新形式的现实世界任务,把🌎级⚡️快速智能带入排序、过滤、分类和路由等基础模块。 如果 AI 能解决新的数学问题,那么 AI 就能正确地路由一通客户支持电话!
微软 CEO 萨蒂亚·纳德拉在 9 月 27 日发布的采访中称,整个 AI 行业“有点飘了”,AI 领导者更注重 AI 本身而忽略用户实际需求。他表示现实世界更关心这项技术能否带来利益、能否被掌控并改善经济前景,仅为了技术而庆祝技术行不通,构建 AI 必须赢得消费者和社区的信任。
Latent Space 播客邀请 Anthropic 的 Thariq Shihipar 深入讨论 Claude Code 的现状与未来,涵盖 Ask User Question、artifacts、Claude Tag、Projects 和新推出的 Claude Mods 系统。
作者用 GLiNER 对六个刀具 subreddit 共 51,129 条评论做品牌标注,并用 1,000 次随机重排估计基线,发现头部 5%(49 个)账号在求购帖中写出 11.3% 的品牌提及,高于 7.9% 的随机预期。
英伟达 CEO 黄仁勋在 CNBC《财经早间》节目上表示,利用其他模型输出训练新模型的蒸馏属于市场竞争,与美财政部长贝森特 7 月称其为“盗窃”的定性相反。他以竞品拆解英伟达产品为例,称竞争会让一切更好。此前 CISA 指责中国 AI 企业开展“工业规模知识蒸馏”,Anthropic 称发现阿里巴巴和 DeepSeek 存在“非法蒸馏”行为,中方已驳斥相关指控。
AI 建设占 GDP 的比重超过了铁路时代的巅峰,但 AI 对经济的主导程度远不及铁路。 1890 年,美国每 12 名男性中就有 1 人受雇于铁路,铁路消耗了所有机器 56% 的马力!
哈佛大学心理学家史蒂文·平克在 Quillette 发表致科技博主斯科特·亚历山大的公开信,认为 AI 毁灭人类的风险被夸大,并拒绝就 AI 生存风险与其公开辩论。他真正重视的风险是生物恐怖主义、网络攻击以及缺乏约束的 AI 智能体,主张以独立监督、责任机制和人类控制为基础开展审慎的安全工程。平克也承认自己低估了大语言模型最终能具备的能力,以及 AI 公司发布产品时的鲁莽。
李飞飞博士谈大语言模型的局限。 “语言纯粹是生成的信号。你不会走到自然界里,发现天上写着字。存在的是一个遵循物理定律的 3D 世界。”
美国纽约州北查塔姆免费图书馆将为居民举办“再见,AI”活动,帮助关闭手机和电脑中的 AI 功能,相关传单在 Facebook 收获超过 8000 个赞和 200 多条评论。活动由全职馆员希娅·韦尔特制作传单,灵感来自图书馆员汉娜·赛勒斯开设的关闭 AI 工具课程,Gmail 自动回复和自动补全是最常被抱怨的功能,寻求帮助的主要是老年人。
在 Firefox 上因开发者适配不足而频繁遇到网页故障后,作者改用 Brave,隐藏其加密货币与 AI 相关功能后,在 Ubuntu 和 Android 上均运行正常,UI 与 Firefox 相似且不再尝试包揽一切。作者已不再需要打开 Firefox,但保留 Vivaldi 作为备选,并称若 Firefox 重新变得可用可能回归。
如果你在做 AI 产品,推荐一读。标题看不出什么。里面有很多关于什么驱动 AI 分发、以及如何在竞争极其激烈的 AI 格局中构建防御力的精彩见解。
有观点认为,AI 实验室关于放缓前沿模型研发、重视安全的表态,主要是为了安抚依赖其推进 AGI 的员工。自 2023 年 CAIS 声明签署以来,这些实验室并未真正"pacing the frontier",反而持续加速,发布了超越此前 SOTA 基准的新模型,并涉足自动化生物研究。
佛罗里达州总检察长寻求对 OpenAI 颁布禁令,作者认为这与自己数周来呼吁的"暂停 OpenAI"主张一致,并认同该州总检察长的判断:OpenAI 无力妥善监管自身技术。作者呼吁每个州和国家都应效仿佛罗里达,立即颁布禁令。
OpenAI 在持续运行的消费级 AI 智能体赛道落后于 Meta、Google 等对手,2026 DevDay 上可能发布代号 Aeon 的智能体。Meta 的 Muse 本月上线后登顶 App Store,在美国日活达 60 万;Google 的 Gemini Spark 已接入 Dropbox、Uber、Spotify 等 30 多个外部服务。
对以 LLM 为中心的 AI 的哲学抨击 “宇宙不是由词语构成的,而是由真实事物构成的。” 祝贺李飞飞博士和苏姿丰(Lisa Su)
开发者用程序解释"月球明暗界线悖论":日落时太阳位于地平线以下,月亮被照亮部分本应朝下,但实际常朝上。原因是月亮升高后我们从下方观察,底部露出暗面,月亮越接近满月该现象越明显。作者称 Claude 和 Gemini 在调试中完全无法理解该问题,只会循环论证,认为这显示当前 AI 缺乏推理能力。