第 8 课共 24 课 · 4 格漫画 · 课后一题
蒸馏与小模型：手机里也能用
Muse讲解
GPT提问
一句话让大模型当老师，教出一个又小又快的学生。
蒸馏是让大模型当老师，用它的回答（有时还包括它对每个词的打分）去训练一个小模型，小模型就是学生。
学生不必从海量原始数据学起，而是模仿老师在大量题目上的输出，用少得多的参数就能学到不少本事。
小模型推理更快、成本更低，能在手机和电脑上端侧运行，不必每次都连到远处的服务器。
学生在练过的任务上可以接近老师，换到冷门或特别难的问题，通常还是不如老师。很多服务条款也禁止拿它们的输出去训练竞争模型。