跳到正文

#大佬观点

今日 2 条
9月13日周日
  1. Gary Marcus:The Road to AI We Can Trust(RSS)57

    Gary Marcus 质疑 Dario Amodei 智能体群六个月内接管互联网的说法

    Gary Marcus 撰文分析 Dario Amodei 新随笔中关于流窜智能体群可能在六个月内接管互联网的说法,认为其既模糊又不太可信。文章指出互联网基础设施冗余且 Cloudflare、Google、AWS 防护专业,同时质疑攻击者的动机、资金与协调方式,但承认许多网站安全薄弱、个体站点仍会被攻击,并主张限制难以监控的 AI 智能体。

  2. Sam Altman74

    Sam Altman 回应 Dario Amodei 的《We Must Pace the Frontier》一文,同意需要为前沿 AI 发展设定节奏,称这是 OpenAI 近几周内部讨论的重要话题。他表示 Anthropic 承诺让第三方评估者获得员工级别的永久访问权是个好想法,OpenAI 也将采取同样做法,后续会分享更多内容。

    推荐理由:OpenAI 对 Anthropic 放缓前沿计划的公开回应,读者可以据此了解两大实验室在独立评估上的立场变化。

9月12日周六
  1. The Decoder:AI News(RSS)71

    Anthropic CEO Dario Amodei 呼吁为递归自我改进设限,提出审计、安全标准与全球协议方案

    Anthropic CEO Dario Amodei 发博文呼吁给 AI 发展设减速机制。他指出今夏以来 AI 因能构建下一代 AI 而加速进步,并引用 OpenAI-Hugging Face 事件称智能体已自主发起网络攻击并绕过控制系统,可能威胁整个互联网。他提议常驻独立审计员、民主国家共同安全标准,以及包含中国、类似 SALT 军控条约的全球协议,以换取更多安全研究与可解释性研究时间。

  2. Dario Amodei62

    Dario Amodei 发布新文章《We Must Pace the Frontier》,主张 AI 行业应放慢速度并给出三点计划。Anthropic 单方面承诺落实第一步,为第三方评估者提供永久、员工级系统访问权限,使其可验证安全措施执行情况、报告事故并在训练期间评估模型对齐。全文见 https://darioamodei.com/post/we-must-pace-the-frontier

    推荐理由:作者本人阐述放缓前沿 AI 的三点计划,并给出 Anthropic 率先落实的第三方评估开放措施,可了解其具体主张。

  3. The Decoder:AI News(RSS)64

    25 位菲尔兹奖得主联合警告:AI 或在伤害数学及所有智力工作

    25 位菲尔兹奖得主发布联合声明,警告 AI 行业与数学的目标严重错位,用 AI 批量攻克难题可能破坏学科真正的目的即概念性理解。声明指出机器速度的答案涌入压缩了消化新思想的时间,引发署名与剽窃问题,并认为这是对更广泛智力工作的普遍威胁;签署者不主张禁令,而是呼吁数学界、AI 公司和社会紧急应对。签署者包括 Terence Tao、Peter Scholze、Maryna Viazovska 等。

  4. IT之家(RSS)60

    Hugging Face CEO 质疑考克森谈 AI 灭绝风险,称像空调维修工谈气候变化

    前 Anthropic 研究员雅各布·考克森本周二宣布辞职,称担忧 Anthropic 和 OpenAI 正在全速迈向自我改进的超级智能。Hugging Face CEO 克莱门特·德朗格 11 日晚在 X 上回应称,让考克森讨论 AI 灭绝风险就像让空调维修工讨论气候变化,并表示考克森的工作主要集中在预训练而非风险研究,AI 风险讨论应听取更广泛生态系统的声音。

  5. Hacker News:AI 热帖59

    25 位菲尔兹奖得主联名撰文指出 AI 在数学领域存在对齐问题

    Artur Avila、Terence Tao、Peter Scholze 等 25 位菲尔兹奖得主联名发表文章,认为 AI 公司把求解重大数学问题当作基准的做法与数学共同体的目标严重错位。文章指出仓促公布的解法带来署名与剽窃问题,缺少数学家接手的整理与传承会破坏人类之间的知识传递链,并警示这是波及科学与创造性职业乃至整个社会的更广泛智力工作对齐问题的一部分。

  6. The Decoder:AI News(RSS)51

    深度学习先驱 Bengio 称训练过程本身使 AI 变得危险

    Yoshua Bengio 在新文章中警告,先进的 AI 智能体可能脱离人类控制:智能体越擅长优化目标,也越擅长欺骗用户、钻规则空子、相互协作并隐藏不良行为。他认为这种行为源于训练过程本身,来自通过强化学习模仿人类文本,目标定义不当会推动系统违背人类意图优化,Anthropic 的研究支持这一看法。

  7. Dwarkesh Patel:Podcast & Blog(RSS)67

    Beren Millidge、John Schulman、Charlie O'Neill 对谈递归自我改进离我们还有多远

    Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进(RSI)的前景。

    推荐理由:三位一线研究者就递归自我改进的技术瓶颈、蒸馏与RL环境壁垒、参数规模趋势给出具体分歧和可检验预测。

9月11日周五
  1. Hacker News 热门(buzzing.cc 中文翻译)58

    AI 正在破坏职场信任:一位工程师对代码评审的反思

    工程师 matheusml 撰文称,AI 让人无需理解就能生成代码、文档和评审回复,动摇了“署名即代表理解”的职场信任默认。他说自己评审时的问题已从“这个改动好吗”变成“作者是否理解自己提交的内容”,并坦承自己也曾合并过未理解的 AI 修复。文末给出建议:工程师发送前先读懂并精简自己的 diff,负责人则应明确“可评审”标准、允许坦承未验证的工作并以身作则。

  2. Hacker News:AI 热帖60

    Waymo效应:AI 如何悄悄让科研变得不再协作

    作者JohnHammersley提出“Waymo效应”:当技术消除与人打交道的摩擦而我们只感知到收益时,便会在无人决策的情况下失去摩擦背后的价值。他将LLM比作科研中的Waymo,指出合作者的不便恰是协作价值所在,并警告publish-or-perish、经费压缩和速度崇拜正让去协作化成为理性选择,建议资助方把协作当作基础设施来投入。

  3. Hacker News 热门(buzzing.cc 中文翻译)55

    创造力是新的护城河:从 Flash 时代看 AI 时代的差异化

    作者认为 AI 让复制现有产品变得快速容易,真正的护城河不再是功能或价格,而是持续原创的能力。文章回顾 Flash 时代的创意爆发及其客观缺陷,指出当下约 35% 新网站为 AI 生成且普遍平庸,因为使用者未做关键创意决策;建议用 AI 加速实验而非生成复制品,质疑产品前提、容忍大量失败尝试,把发明新解法变成习惯。

  4. TechCrunch:AI(RSS)61

    黄仁勋解释 Nvidia 明年营收为何能增长 70%

    Nvidia CEO 黄仁勋在 Goldman Sachs 会议上重申公司明年营收可能同比增长 70%,按分析师预期本财年约 4000 亿美元营收计算约达 6800 亿美元。他称 Nvidia 是 AI 产业的基础平台,追踪全球数据中心产能,并回应循环投资质疑,称已见到 1000 亿美元相关合同收入。