跳到正文
原文
Rohan Paul· @rohanpaul_ai · X·· 10 天前AI 评分45
AI 导读

投资人Chamath Palihapitiya指出,在AI计算中,Prefill阶段是计算受限的,因此随着上下文增长,大规模并行GPU(如Nvidia)占据优势;而Decode阶段受内存带宽限制,因为生成每个新token都需要扫描已生成的内容。

整理与数据来源:AIHOT

来源:Rohan Paul · x.com