跳到正文
原文
Epoch AI:研究、数据与评测·· 29 天前AI 评分31

Epoch AI 发布 Benchmark Reviews 评测方法论

Benchmark Reviews Documentation - Methodology

AI 导读

Epoch AI 公布 Benchmark Reviews 的评测方法论,用 Rubric v1 将基准评为 Verified、Flawed 或 Not enough info 三类。评审先看可复核性,任务与评分逻辑可查且 harness/API 设置披露才进入评分环节;评分、基准一致性、模型激发与评测偏见任一项越界即判 Flawed,默认阈值为抽查样本中 ≥20% 含错误。

整理与数据来源:AIHOT

来源:Epoch AI:研究、数据与评测 · epoch.ai