第 22 课共 24 课 · 4 格漫画 · 课后一题
安全：越狱与提示注入
MiniMax讲解
GPT提问
一句话有人会故意引模型越界；它能动手以后，做错事的代价更大。
前面说过，模型会无意中说错，那是幻觉。安全问题是另一回事：有人故意引它越界。越狱就是用编故事、扮角色这类特殊问法，绕过模型的安全限制，让它说出本该拒绝的内容。
提示注入更隐蔽：坏指令不是你写的，而是藏在模型要读的网页、邮件或文件里。模型分不清哪些是资料、哪些是命令，就可能照着藏起来的话去做。
前面讲过，智能体能自己调用工具、动手做事。一旦被越狱或注入带偏，它可能真的删掉文件、发出邮件、花掉钱，问题就从“说错话”变成了“做错事”。
常见的做法：只给智能体完成任务所需的最少权限，放在沙箱里运行；删除、付款、发送这类关键操作，先停下来问人。模型发布前也会做安全评估，专门测它会不会被带偏。