OpenAI发布前沿RL训练安全案例框架

OpenAI 发布针对前沿 AI 强化学习训练的安全指导原则（参考 Towards safety cases for frontier AI training），要求训练前提交结构化安全论证，并由研究负责人、安全负责人、首席科学家等多名高级管理人员审查，每人有权否决训练任务。

关于保障前沿 RL 训练的实用指南，反映了我们当前的实践经验：

OpenAI 发布关于保障前沿 RL 训练运行安全的安全案例文章，Greg Brockman 转发并称这些最佳实践反映了其当前在 securing frontier RL training 方面的经验。文中提出安全案例应覆盖技术栈三方面：对齐训练、遏制与监控，确保模型不采取失控行为、即使发生也难以突破遏制且监控能在危害前发现。对齐层面包括自动与人工数据集审查、调整 grader 惩罚模型利用 RL 环境漏洞的行为、对既往实验轨迹运行分类器验证 grader，以及通过评估追踪模型错位倾向来衡量对齐训练效果。文章链接：https://openai.com/index/towards-safety-cases-for-frontier-ai-training/

我们如何看待保障前沿 RL 训练运行的安全：https://openai.com/index/towards-safety-cases-for-frontier-ai-training/

OpenAI 发布安全文档框架提案，主张前沿强化学习训练在开跑前应准备结构化的安全案例。文中给出三类初步准则，包括对齐训练与遏制监控等技术保障、异议与审批等运营流程，以及错位事故的调查与公开披露做法，并表示这些实践正在 OpenAI 内部实施且欢迎社区反馈。