自适应并行推理:高效推理扩展的下一个范式
伯克利 AI Research 发布综述,梳理并行推理领域进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章指出,现有方法多由模型外部固定并行结构,而不同问题需要不同并行度。文中还介绍了 ThreadWeaver、ParaThinker、GroupThink、Hogwild! Inference 等方法。
伯克利 AI Research 发布综述,梳理并行推理领域进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章指出,现有方法多由模型外部固定并行结构,而不同问题需要不同并行度。文中还介绍了 ThreadWeaver、ParaThinker、GroupThink、Hogwild! Inference 等方法。
GRASP 是一种面向学习型世界模型(learned dynamics)的新型梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以促进探索,并重塑梯度让动作获得清晰信号、避免穿过高维视觉模型的脆弱“状态输入”梯度。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模 LLM 中识别驱动模型输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,在约少 10 倍消融次数下达到 SPEX 的性能。
伯克利 AI 研究提出一种基于分治(divide and conquer)的强化学习算法,不依赖时序差分(TD)学习,可将 Bellman 递归次数从线性降为对数级,从而扩展到长时程任务。该方法针对 off-policy RL 场景,在目标条件 RL 中利用三角不等式构造传递性 Bellman 更新,用两个较短的子轨迹价值更新完整轨迹价值。目前仍存在如何选取最优子目标 w 的问题。