跳到正文

#论文/研究

今日 0 条
9月29日周二
  2. Dongxi 东锡 NLP46

    You Only Edit Once： 通过局部示例精修激发 LLM 的上下文能力 挑选最佳少样本示例是一种缓慢的 System-2 搜索：组合爆炸，且往往需要反复调用 LLM。 我们把它变成了 System 1。⚡ Jev-LDE，一个 1.7B 的编辑器，扫一眼检索到的示例，只做一次编辑。LLM 只回答一次。 平均 1-shot 准确率 81.2 → 88.1 You Only Edit Once 🧵 动画演示（示意示例）。查询：“How far is it from Denver to Aspen?” 语义 TopK 检索出三个相似示例：“Where is Aspen, Colorado?”（Location）、“What state is Denver in?”（Location）、“Who founded Denver?”（Person）。Jev-LDE，一个 1.7B 的 System-1 编辑器，标记出第一个虽然主题相同但答案类型错误，并输出一个动作：将 S1 替换为候选 C1，“How far is Boston from NYC?”（Number）。冻结的目标 LLM 随后回答“Number”，这是正确的；若不编辑，它会回答“Location”。结尾卡片：在 3 个基准和 4 个目标 LLM 上，平均 1-shot 准确率从 81.2 提升至 88.1，在 48 个设置中有 44 个达到最佳或并列最佳，墙钟时间增加 11%。

  4. HuggingFace Daily Papers（社区热门论文）44

    研究揭示 LLM 全流程为何默认偏向美式英语：1,813 组 AmE–BrE 变体与 DiAlign 方法

    研究以 1,813 组匹配的美式英语（AmE）与英式英语（BrE）变体为资源，提出免训练的 DiAlign 方法，从数据分布证据估计区域对齐度。AmE 在全部 6 个预训练语料和 21 个后训练数据集中均被偏好，tokenizer 表示更紧凑、预测成本更低，且在中性英语提示下仍是默认生成偏好；改用英式英语提示可向 BrE 偏移，但无法稳定消除 AmE 默认。

  6. HuggingFace Daily Papers（社区热门论文）30

    PLDR-LLM 的训练与推理动力学：行映射坍缩、重归一化与预测约简

    该专著提出 PLDR-LLM（幂律解码器表示语言模型）训练与推理的统一理论框架，用有限工作恒等式将行中心学习映射的绝对能量变化分解为参数贡献、带符号交互与数值观测缺陷。实验揭示了观测器与优化器依赖性，否定了所测试的自主行状态候选方案，并支持有限条件预测与状态特定的算子约简。理论区分了精确恒等式、条件动力学主张与有限实证发现，并给出证明、形式化检验与紧凑数值证据。

  7. HuggingFace Daily Papers（社区热门论文）48

    为何确定性 PRM 引导在离散扩散推理中表现不佳

    研究显示，在同等前向计算预算下，确定性 PRM 引导的离散扩散语言模型推理不如独立采样加 ORM 重排。在 Dream-v0-Instruct-7B 上，GSM8K 每题 8 个候选时前者准确率 65.18%，后者达 75.13%，32 个候选时差距扩大到 12.69 个百分点。作者将其归因于引导阶段信号弱和 PRM 作为最终评判者能力不足，并发布了去噪状态语料与评测工具包。

  8. HuggingFace Daily Papers（社区热门论文）41

    WorldPlay2：扩展实时交互世界模型的控制能力与预测时长

    WorldPlay2 是一个交互式世界模型，通过分解式混合控制接口与压缩记忆、稳定蒸馏的协同设计，兼顾长时一致性与实时响应。该接口将帧对齐动作控制与结构化语义控制结合，显式解耦场景外观、角色身份和动态语义事件；同时将历史上下文压缩为记忆 token，供自回归学生模型与双向教师模型共享，实现按片段进行记忆条件打分，大幅降低蒸馏开销。

  9. IT之家（RSS）54

    ETH Zurich 研发出能用指尖自行行走的五指机械手

    苏黎世联邦理工学院软体机器人实验室基于常规仿人机械手，用强化学习训练出可依靠指尖自行行走的机械手，整机重 818 克，搭载树莓派机载计算机可独立运行。该机械手在 NVIDIA Isaac Lab 仿真平台完成训练，已在沥青、草地、碎石等 14 种表面爬行，25 次被碰倒中 21 次能自主站起；手指仍可恢复普通操作，敲键盘正确率达 90%，并通关推箱子游戏、定位精度达毫米级。

  10. HuggingFace Daily Papers（社区热门论文）40

    TaH2：用自适应循环 Transformer 改进测试时扩展

    针对循环 Transformer 在测试时扩展上的不足，研究者提出 TaH2，通过前瞻深度监督联合后训练主干网络与迭代决策器，让额外迭代只作用于真正受益的 token。在 AIME 基准上，TaH2 将准确率-算力斜率提升 53%（2.74 对 1.79），同等测试算力下峰值准确率超出非循环基线约 3.4 分；迭代深度从 2 增至 8 时，其增益从 +2.8 分扩大到 +3.9 分。代码已开源。

  12. HuggingFace Daily Papers（社区热门论文）42

    EditWorld：面向可交互世界的精准编辑与灵活引用视频世界模型

    EditWorld 是一个支持精准编辑与灵活引用的视频世界模型，可在自回归生成过程中流式接收编辑指令和参考图像，将世界建模从探索扩展到精准修改。它引入 Gated Causal Attention 处理时变编辑条件与参考图像，并用 Sparse Context 机制维持有界历史上下文以支持长时程推理。

  22. HuggingFace Daily Papers（社区热门论文）42

    Just MLPs：为多模态语言模型高效重建视觉状态

    研究提出 δ-Vision，用轻量低秩适配器构建逐层视觉记忆，替代视觉 token 在 Transformer 中的重复演化，同时保留全部视觉 token 供文本检索。该方法发现视觉到文本的信息流集中在低维子空间，且轻量 MLP 能以高余弦相似度和低重建误差逼近各层视觉状态。在图像和视频基准上，δ-Vision 在相当或更低计算量下准确率超过视觉 token 剪枝基线，且不丢弃视觉 token。

  25. IT之家（RSS）60

    20 余名 AI 行业领袖发论文警告智能爆炸风险，呼吁政策制定者关注 AI 自我改进

    据彭博社报道，20 多名 AI 行业领袖在一篇新论文中警告，用 AI 自动化下一代模型研发可能导致技术进步突然加速的智能爆炸，其速度或超过社会适应能力。联署者包括 Anthropic 联合创始人杰克·克拉克、OpenAI 首席科学家雅库布·帕乔茨基、杰弗里·辛顿、约书亚·本吉奥等。

9月28日周一
  2. DAIR.AI39

    Salesforce AI Research 提出 Critical-State RL，用于多轮工具调用的强化学习训练：当奖励依赖后续轮次时，其变化很大程度来自下游噪声，该方法用嵌套采样分离出当前动作带来的奖励变化，只对选定的关键调用做上下文赌博机更新。在 BFCL v4 缺失函数任务上，训练选定的那一轮可提升约 14 分，而训练其他候选轮则准确率持平或下降。

  3. MIT News（RSS）78

    MIT利用AI算法优化RNA疫苗配方，实现室温稳定保存一年

    MIT研究人员借助AI算法优化脂质纳米颗粒（LNP）的辅料配比，成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年，或在37摄氏度下保存两个月，且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解，将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。

    推荐理由：展示了AI在小数据集和复杂生物化学问题中的高效应用，显著加速了药物研发流程，具有明确的科学突破和实际应用价值。

  4. Hacker News：AI 热帖27

    论文探讨 AI 的快思考与慢思考：元认知在多智能体架构中的作用

    一篇 arXiv 论文提出多智能体 AI 架构，借鉴 D. Kahneman 的"快思考与慢思考"理论，让系统 1（快速）智能体仅凭过往经验响应问题，系统 2（慢速）智能体则在需要推理和搜索最优解时被刻意激活。两类智能体均由世界模型（含环境领域知识）和"自我"模型（含系统过往动作与求解器技能信息）支撑。论文认为，研究人类具备这些能力的机制有助于理解如何让 AI 系统获得同类能力。

  7. 小米 MiMo：官网发布与博客63

    小米 MiMo-V2.6 诊断并修复工具调用重复问题，用 MOPD 将修复成本降至 MixRL 方案的 4%

    小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题，响应级重复率超 0.05%，并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%，32 次调用阈值惩罚过于宽松；直接调低阈值需重启 20 步 MixRL，估计成本 231 万美元，且内部测试重复率仅从 13.45% 降至 3.83%。

    推荐理由：原文给出完整的归因实验和修复路径，还公开了成本对比，读者可借鉴其诊断 RL 训练中涌现行为的方法。

9月27日周日
  1. The Decoder：AI News（RSS）55

    复旦团队复盘 Atria Dawn Preview 开发：AI 智能体承担更多执行，人类仍做绝大多数决策

    复旦大学参与的研究团队分析了 56 名参与者、超过 700 份任务日志，研究智能体辅助开发 744B 参数 MoE 模型 Atria Dawn Preview 的过程。四周内每个人类输入对应的智能体操作中位数从 11 升至 28.5，约三分之一的 AI 辅助任务没有 AI 就不会启动，但方法和参数的最终决策 85.5% 由人类做出。团队提醒，长链智能体工作可能让人类监督退化为走过场式审批。