TechCrunch · AI· Aditya Mehta·· 3 小时前AI 评分60
Goodfire 推出内部激活监控,拦截失控 AI 智能体
Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost
AI 导读
Goodfire 发布基于模型内部激活的监控方案,通过探针读取模型计算过程中的中间信号,仅在触发时调用另一个 AI 模型复核,已向 Baseten 客户开放,可监控攻击性黑客、生化武器滥用和 reward hacking 等风险,并选择记录、人工复核或直接拒绝。
来源:TechCrunch · AI · techcrunch.com