HuggingFace Daily Papers（社区热门论文）·· 2026-09-01AI 评分45
SMELT：算力匹配下 MoE 循环 Transformer 的缩放律研究
SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
AI 导读
论文提出 SMELT（Sparse MoE Transformer，中段层循环两次）配方，在逐 token FLOPs、非嵌入参数量和 KV cache 三项预算均匹配的条件下研究循环 Transformer。
整理与数据来源：AIHOT
来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org