Dwarkesh Patel：Podcast & Blog（RSS）· Dwarkesh Patel·· 2026-09-09精选AI 评分60
Dwarkesh Patel 研究：预训练进步主要来自数据改进
Pretraining progress is mostly coming from data
AI 导读
Dwarkesh Patel 发布实验分析，在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料，发现数据改进带来 12.0x 算力效率提升，模型改进为 3.7x，数据贡献约为模型的 3.24 倍。
推荐理由
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献，并讨论结论对更大规模模型的适用边界。
整理与数据来源：AIHOT
来源：Dwarkesh Patel：Podcast & Blog（RSS） · dwarkesh.com