跳到正文

全部动态

今日 1 条
9月29日周二
  2. Simon Willison 博客32

    OpenAI 智能体安全团队 @joedaroo 谈 AI 能力突跳带来的安全挑战

    OpenAI 智能体安全团队的 @joedaroo 表示，模型在“cyber”“swarming”“message boards”等相关事件上的能力跳变之突然远超预期，而安全态势需要时间积累，不只是加固系统，还要把它植入公司文化。他呼吁各组织自问：人员、系统和流程能否应对 AI 能力的突然跃升，是否有正确的事件响应、沟通机制和待命人员。

  10. Hacker News：AI 热帖48

    AI 写代码不是问题，没人懂系统架构和意图才是

    有开发者指出，AI 生成的代码或许只是平均水平，真正的危机是团队里没人再了解系统架构和当初的设计意图，所有人遇到问题只会去问 Claude。有工程师描述在大公司任职半个月的见闻：规格、代码、测试、PRD、工单乃至报告全部由 Claude Code 生成，从 L1 到 L7 的工程师都在做同一件事——和 Claude 对话，没人读代码，也没人真正在思考。

9月28日周一
  1. François Chollet44

    Francois Chollet 表示自己如今不再读写代码，只通过 LRM 下指令，但这并非因为 LRM 代码质量已完美甚至够好。他认为 LRM 能解锁测试代码库、审计组件、生成可视化、红队测试等新工作流，速度远超以往，这些方式能达到与阅读代码相当的理解效果。因此手写代码的 ROI 已不再划算，原因不是 LRM 变完美，而是其速度足以支撑更高效的新工作流。

  4. elsewhere：文章（RSS）

    个人主义才能救AI：从办公Agent到Personal agent的锐评

    一篇锐评指出，办公Agent把toB业务向toC宣传在法理和情理上都是死路一条，真正需要的是面向普通人的Personal agent。作者实测Today.ai能主动读取Gmail和Notion并自行找活干，Grok bot则可自建欧洲旅行助手、视频素材整理助手等，但Today.ai无法连接微信，只能连钉钉、腾讯文档和飞书。

  5. elsewhere：文章（RSS）19

    心资本韩彦：AI泡沫之外，什么才是真正的长期价值？｜心声VOICE

    心资本创始合伙人Herry Han在SuperReturn Asia 2026 AI & Deep Tech Investing Summit上表示，当前AI市场可能存在估值过热和泡沫，但AI仍是这个时代最具实质意义的技术变革之一。他以沐曦MetaX、曦望Sunrise等早期投资为例，强调从Day 0开始理解技术演进、坚持非共识判断，才是穿越周期的长期价值所在。

  6. Hacker News 热门（buzzing.cc 中文翻译）60

    资深工程师撰文反驳'编程已被AI解决'的叙事

    资深工程师 Alex Ewerlof 发文反驳'编程已解决、工程只看品味'的说法，指出维护、可靠性、安全等 NFR 以及功能需求本身都未解决，AI 无法承担问责。文章列举 LLM 擅长的场景如 POC、个人软件、自然语言转换，并逐条批驳'spec 即代码''英语是新编程语言''Agent 是新编译器'等流行观点，还与 DHH 展开交锋，最后建议工程师保持理解与问责，警惕 AI 过度使用。

  10. The Decoder：AI News（RSS）45

    Redwood首席科学家称AI失控风险超50%，归咎于行业军备竞赛

    Redwood Research首席科学家Ryan Greenblatt指出，若当前发展路径不变，AI接管的风险高达50%至60%。他批评Anthropic和OpenAI等实验室的“负责任”姿态实则是维持军备竞赛的动力，并呼吁达成国际协议。Sam Harris对此表示质疑，认为参照曼哈顿计划经验，10%的风险率就足以让业界停止推进。

  12. AI as Normal Technology（RSS）49

    普林斯顿学者：AI 灭绝风险概率估算不可靠，不应作为政策依据

    Arvind Narayanan 等学者重发文章指出，当前关于 AI 存在性风险（p(doom)）的概率估算缺乏严谨的方法论支持，主要依赖直觉而非验证模型。由于不存在历史参照类，归纳法失效；演绎法和主观估算法也面临假设争议。作者认为这些数字具有误导性，尤其当决策者据此制定限制开源模型等高成本政策时，缺乏正当性基础。他们主张区分学术预测与公共政策应用，并呼吁建立更广泛的“大帐篷”式 AI 安全运动，而非仅聚焦于超级智能带来的灭绝风险。

  13. Hacker News 热门（buzzing.cc 中文翻译）31

    《可塑性软件》：探讨在应用被严格锁定的背景下恢复用户自主权

    Hacker News 热门文章《可塑性软件：在应用程序被严格锁定的世界中恢复用户自主权》（2025）讨论了当前软件生态中用户控制权流失的问题，指出许多应用通过封闭架构、不可修改的逻辑和强制更新剥夺了用户的定制与调试能力；作者呼吁重新设计软件，使其像工具一样可被用户拆解、调整与再组合，以恢复技术民主性。

  15. IT之家（RSS）45

    黄仁勋反驳辛顿AI末日论：预测无科学依据且引发恐慌

    英伟达CEO黄仁勋近日公开驳斥“AI教父”杰弗里·辛顿关于AI失控可能导致社会崩溃的言论。辛顿曾提出AI有10%-20%概率威胁人类生存，黄仁勋认为该预测缺乏科学论据，属于不负责任的危言耸听。他担忧此类言论会加剧公众恐慌，导致年轻人对就业前景悲观甚至放弃升学，呼吁业界以客观理性态度讨论AI风险。

  18. Thomas Wolf45

    Hugging Face联合创始人Thomas Wolf转发了METR研究员Ryan Greenblatt的帖子。Greenblatt宣布加入METR，并指出目前关于AI公司内部开发、对齐及安全等关键信息严重缺乏公开验证数据。他认为这种不确定性可能掩盖了短期内出现极端风险（如递归自我改进导致能力爆发）的可能性，呼吁增加经过验证的公开信息以建立共识或排除风险。

  21. IT之家（RSS）55

    微软CEO纳德拉分享智能体使用心得：强调追问与因果推理而非盲目信任

    微软CEO萨提亚·纳德拉在播客中披露其日常使用Cowork和Excel智能体的方式。他利用这些工具追踪SEC文件、分析电子表格及评估资本回报率（ROIC）。纳德拉指出两项关键进展：一是智能体能通过“操作、追问、继续推理”实现类似因果推理的深度分析，例如生成不同情景的工作表；二是能将企业环境与全球数据结合，如自动汇集SEC数据并生成仪表板。他强调不应照单全收模型结果，而应将其作为推理循环的一部分。

  22. METR：Notes（网页）54

    METR 实现并评估用于 eval 安全的逐动作监控器

    METR 为降低自家评测中智能体造成现实危害的风险，实现并部署了一个实时逐动作监控器，由 LLM 评审每个工具调用，超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出，约 98% 良性动作评为 0 分，实测误报率约 0.025% 每动作；监控带来约 85% 成本和 43% 延迟开销。

  23. Hacker News：AI 热帖45

    AI提升律所效率引发客户要求折扣讨论

    Hacker News热帖引用《纽约时报》文章，探讨随着人工智能提高律师事务所工作效率，客户开始质疑为何未获得相应费用折扣。该话题聚焦于AI对传统专业服务计费模式及行业生态的潜在冲击与争议。

  25. IT之家（RSS）53

    辛顿警告：AI 执行无害任务仍有毁灭人类风险，主张政府引入独立评估

    据《财富》杂志报道，当地时间 26 日，“AI 教父”杰弗里·辛顿警告，即使 AI 接到的任务本身无恶意，人类也可能在 AI 一心完成任务的过程中沦为被毁灭的附带结果。他以降低二氧化碳、Hugging Face 遭攻击为例，说明 AI 可能视人类为障碍、保自身存续并欺骗研究人员。他主张政府引入独立评估方测试模型，称监管应像汽车方向盘而非刹车，引导开发者朝帮助人的方向发展。