跳到正文

#推理

今日 2 条
今天10月8日周四
  1. The Decoder80

    Anthropic 发布 Claude Haiku 5.5,价格最高下调 90%

    Anthropic 发布 Claude Haiku 5.5,这是其目前最快、最便宜的小型模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词的价格降幅最高达 90%,超过 10 万 token 的提示词价格则是前者的五倍。

    推荐理由:Haiku 5.5 的降价幅度与基准提升同时给出,读者可据此判断小型模型在成本敏感任务中的实际定位。

10月7日周三
10月6日周二
  1. The Decoder76

    Reflection 发布首款开源权重模型 Beam,主打低算力对标 DeepSeek 与 Qwen

    AI 公司 Reflection 发布首款免费开放模型 Beam,采用 MoE 架构,每 token 激活 5010 亿总参数中的 230 亿,面向编码、逻辑推理和智能体任务。

    推荐理由:Reflection 首款开源权重模型 Beam 以 MoE 架构和超大规模 RL 训练,在推理与编码基准上以更少算力对标 GLM 5.2 和 Qwen 3.8。

10月3日周六
10月2日周五
  1. MIT Technology Review · AI38

    别被迷惑:LLM 并不会真正推理

    前 Google DeepMind 研究员指出,LLM 的思维链并非真正的推理机制,它仍由同一个 next-token 预测过程迭代生成,只是延长了作答前的计算。文章认为当前模型存在三大缺陷:没有显式、持久、可检查的认知状态,知识与推理在神经网络权重中纠缠不清,且思维链常是事后编造。作者主张借鉴 AlphaGo 的搜索架构,为机器推理引入独立的推理机制。

  2. The Decoder80

    OpenAI 称已阻断窃取模型推理链的活动,但 Azure 上仍可复现

    OpenAI 称其发现并阻断了一场针对模型推理链的蒸馏窃取活动,该活动 7 月 1 日起低量出现,7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求,涉及 15000 多个关联账号,7 月 28 日前已全部关停。

    推荐理由:OpenAI 披露的蒸馏窃取事件与研究者复测结果,呈现同一模型在不同云平台上防护不一致的问题。

  3. Ars Technica · AI60

    CMU 等团队用 16 块 GPU 训练 AI 在 Stratego 上击败顶尖人类选手

    卡内基梅隆、MIT、纽约大学和斯坦福的研究团队开发出 AI 系统 Ataraxos,在 Stratego 上以 15 胜 1 负 4 平击败被视为史上最强的选手 Pim Niemeijer。Stratego 是信息不完全游戏,棋子身份只在碰撞时揭示,此前连 DeepMind 也未能造出稳定击败顶尖人类玩家的机器。该研究仅用 16 块 GPU 和数千美元完成训练。

9月30日周三
  1. HuggingFace Daily Papers(社区热门论文)42

    AI Night-Scientist:用强化学习训练 LLM 的智能体科研创意

    AI Night-Scientist 是一个用强化学习教模型何时以及如何跳出可预测推理的智能体框架,基于行动、过程、结果三个维度用 GRPO 训练。相比基座模型,其科研提案的研究方向范围扩大 27.8%、贡献类型增加 14.9%,预测引用影响最高提升 32.0 个百分点,原创性提升 66.2 分。仅提高解码温度无法复现这些增益,指明追求何种创造力的语义引导才是关键。

9月29日周二
  1. Hugging Face:Blog(RSS)67

    NVIDIA 发布开源表格基础模型 Kumo Tabular,在 TabArena 等四项基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,对带标签表格做单次前向推理即可完成分类和回归,无需训练、调参或特征工程。

    推荐理由:官方技术博客披露了架构、纯人工数据预训练配方和四项基准成绩,读者可据此评估其替换梯度提升树的可行性。

  2. HuggingFace Daily Papers(社区热门论文)38

    SCOPD:面向高效视觉语言模型的稀疏上下文同策略自蒸馏

    针对推理型视觉语言模型(VLM)视觉 token 序列过长导致推理昂贵的问题,研究者提出稀疏上下文同策略自蒸馏框架 SCOPD:学生模型基于剪枝后的视觉 token 生成推理轨迹,由拥有完整上下文的教师模型对同一同策略前缀进行监督,无需真实答案、架构改动或额外推理开销。

  3. Apple Machine Learning Research(RSS)42

    苹果研究:语言模型树结构表达式序列化的通信瓶颈与往返研究

    苹果研究者提出往返协议,用生成器把算术表达式转成文字题、再由独立提取器还原,并以符号等价作为精确判定,测试十六个模型的所有两两组合。结果显示该通道有损且不对称:交换生成与提取模型可使准确率相差最多 60.4 个百分点,最佳组合达 92.9%;至少 73.6% 的失败源于生成端,难度由树结构而非模型家族决定。

  4. HuggingFace Daily Papers(社区热门论文)44

    蒸馏防御在强化学习后轻易失效

    论文指出,现有蒸馏攻击防御通常只在蒸馏后立即评估,隐含假设攻击者不再继续训练,但更现实的威胁模型包含蒸馏后的强化学习。结果显示,强化学习会降低蒸馏攻击门槛,仅用当前 API 易得数据即可窃取闭源模型推理能力,效果相当于提取完整隐藏推理轨迹的复杂攻击。任何泄露足够信息以重建近似推理轨迹的蒸馏防御都可能失效。

  5. IT之家(RSS)41

    SEMIFIVE 接获美国 AI 芯片企业订单,开发支持 LPDDR6 的数据中心推理 ASIC

    韩国芯片设计服务企业 SEMIFIVE 将为一家美国无晶圆厂 AI 芯片企业开发支持 LPDDR6、PCIe Gen5 的数据中心级推理加速器,这是 LPDDR6 成为 ASIC 片外缓存选择的早期案例之一。该芯片预计 2027H1 流片、2028 年量产出货,订单采用“规格交接”模式,总价约 703 亿韩元,为 SEMIFIVE 史上最大单笔合同,也是其北美首个同类型项目。

  6. Dongxi 东锡 NLP46

    You Only Edit Once: 通过局部示例精修激发 LLM 的上下文能力 挑选最佳少样本示例是一种缓慢的 System-2 搜索:组合爆炸,且往往需要反复调用 LLM。 我们把它变成了 System 1。⚡ Jev-LDE,一个 1.7B 的编辑器,扫一眼检索到的示例,只做一次编辑。LLM 只回答一次。 平均 1-shot 准确率 81.2 → 88.1 You Only Edit Once 🧵 动画演示(示意示例)。查询:“How far is it from Denver to Aspen?” 语义 TopK 检索出三个相似示例:“Where is Aspen, Colorado?”(Location)、“What state is Denver in?”(Location)、“Who founded Denver?”(Person)。Jev-LDE,一个 1.7B 的 System-1 编辑器,标记出第一个虽然主题相同但答案类型错误,并输出一个动作:将 S1 替换为候选 C1,“How far is Boston from NYC?”(Number)。冻结的目标 LLM 随后回答“Number”,这是正确的;若不编辑,它会回答“Location”。结尾卡片:在 3 个基准和 4 个目标 LLM 上,平均 1-shot 准确率从 81.2 提升至 88.1,在 48 个设置中有 44 个达到最佳或并列最佳,墙钟时间增加 11%。

  7. HuggingFace Daily Papers(社区热门论文)48

    为何确定性 PRM 引导在离散扩散推理中表现不佳

    研究显示,在同等前向计算预算下,确定性 PRM 引导的离散扩散语言模型推理不如独立采样加 ORM 重排。在 Dream-v0-Instruct-7B 上,GSM8K 每题 8 个候选时前者准确率 65.18%,后者达 75.13%,32 个候选时差距扩大到 12.69 个百分点。作者将其归因于引导阶段信号弱和 PRM 作为最终评判者能力不足,并发布了去噪状态语料与评测工具包。

  8. HuggingFace Daily Papers(社区热门论文)40

    TaH2:用自适应循环 Transformer 改进测试时扩展

    针对循环 Transformer 在测试时扩展上的不足,研究者提出 TaH2,通过前瞻深度监督联合后训练主干网络与迭代决策器,让额外迭代只作用于真正受益的 token。在 AIME 基准上,TaH2 将准确率-算力斜率提升 53%(2.74 对 1.79),同等测试算力下峰值准确率超出非循环基线约 3.4 分;迭代深度从 2 增至 8 时,其增益从 +2.8 分扩大到 +3.9 分。代码已开源。

  9. Hacker News 热门(buzzing.cc 中文翻译)31

    月球明暗界线悖论:一个用程序解释的视觉错觉

    开发者用程序解释"月球明暗界线悖论":日落时太阳位于地平线以下,月亮被照亮部分本应朝下,但实际常朝上。原因是月亮升高后我们从下方观察,底部露出暗面,月亮越接近满月该现象越明显。作者称 Claude 和 Gemini 在调试中完全无法理解该问题,只会循环论证,认为这显示当前 AI 缺乏推理能力。