NVIDIA 技术博客解析 Dense 与 MoE 模型的参数激活、吞吐差异及选型方法

NVIDIA 技术博客讲解 dense 与 MoE 架构在参数激活、吞吐和部署上的差异，以 Nemotron 3.5 Lightning 为例说明 MoE 每词元仅激活约 3B 参数、总参数 30B 仍需约 60 GB 显存。文章给出按显存预算、并发、微调和量化需求选型的建议，并对比 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 等模型的输出速度与价格数据。