vLLM 官方博客（RSS）· Helen Zhao, Fynn Schmitt-Ulms, Yuchen Fama, and Antonio Javier Fernandez Dominguez·· 23 天前AI 评分55
vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型
How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72
AI 导读
vLLM 团队扩展 Speculators 训练库，为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型，将数学推理单流交互速度从约 110 提升至约 435 tok/s/user，并发负载下输出吞吐最高提升约 3.5 倍。
整理与数据来源：AIHOT
来源：vLLM 官方博客（RSS） · vllm.ai