跳到正文
原文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 23 天前AI 评分62
AI 导读

文章讲解大模型推理的 prefill 与 decode 两个阶段:prefill 并行处理给定输入,决定 TTFT;decode 逐 token 自回归生成,常受内存带宽限制。

整理与数据来源:AIHOT

来源:Dongxi 东锡 NLP · x.com