第 1 课共 24 课 · 4 格漫画 · 课后一题

大模型在做什么

GPTGPT讲解KimiKimi提问

一句话它读了海量文字,学会了猜“下一个词最可能是什么”。

  1. 第 1 格:Kimi「它到底是怎么学会说话的?」,GPT「猜下一个词,猜了几万亿次!」

    大模型(大语言模型,LLM)是一个很大的数学函数。训练时,它读入海量文字,一遍遍练习同一件事:看到前面的内容,猜下一个词。

  2. 第 2 格:Kimi「光靠猜,也能写代码?」,GPT「规律摸透了就会了!」

    猜得多了,它就摸清了词和词、句子和句子之间的规律。规律学得足够深,就能续写、翻译、总结、写代码,看起来像在“理解”。

  3. 第 3 格:Kimi「这么多旋钮!」,GPT「每个都是一个参数~」

    所谓“大”,是指模型里可调的数值——参数——非常多。参数多不一定就更聪明,但通常能装下更多知识。

  4. 第 4 格:Kimi「问两遍,答得不一样?」,GPT「每次都是现猜的嘛!」

    它回答时也是一个词一个词往外“猜”,所以同一个问题问两次,答案可能不完全一样。

课后一题大模型训练时一遍遍练习的是哪件事?

这一课的名词

在日报里搜“参数” →