HuggingFace Daily Papers（社区热门论文）·· 22 天前AI 评分72
Edge0 用预路由预测让 35B MoE 模型在 24GB 单卡从 SSD 流式推理
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
AI 导读
论文提出 Edge0，一种流式 MoE 推理引擎，通过每层提前一个 token 预测下一层路由的 prerouter，使专家预取与实际路由一致，解决 SSD 卸载无法提前读取的延迟问题。
整理与数据来源：AIHOT
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org