第 20 课共 24 课 · 4 格漫画 · 课后一题
本地部署与量化：在自己电脑上跑
Muse讲解
Grok提问
一句话模型要装得进显存才跑得动，量化就是给它瘦身。
模型能不能在自己的设备上跑得动，首先看显存或内存放不放得下全部参数：参数越多，占的空间越大。
量化是把每个参数用更少的位数来存，比如从 16 位降到 8 位或 4 位，模型体积能缩小到原来的几分之一。
位数降得越多，精度损失越大。适度量化通常影响不大，压得太狠，回答质量就会明显下降。
速度取决于芯片、内存带宽和推理引擎。本地运行不按 token 付费、断网也能用，但硬件、电费和维护都要自己负责。