跳到正文

#数据/训练

今日 2 条
9月29日周二
  1. Greg Brockman50

    OpenAI 发布关于保障前沿 RL 训练运行安全的安全案例文章,Greg Brockman 转发并称这些最佳实践反映了其当前在 securing frontier RL training 方面的经验。文中提出安全案例应覆盖技术栈三方面:对齐训练、遏制与监控,确保模型不采取失控行为、即使发生也难以突破遏制且监控能在危害前发现。对齐层面包括自动与人工数据集审查、调整 grader 惩罚模型利用 RL 环境漏洞的行为、对既往实验轨迹运行分类器验证 grader,以及通过评估追踪模型错位倾向来衡量对齐训练效果。文章链接:https://openai.com/index/towards-safety-cases-for-frontier-ai-training/

  2. Thomas Wolf55

    @classiclarryd 通报 Deven Pzak 将 NanoGPT 训练纪录从 67.6 秒压缩至 39.9 秒,PR 为 KellerJordan/modded-nanogpt#360。核心思路是在单个 flop 层面按价值取舍而非只优化 matmul,包括采样 softmax(约 8 秒)、ngram 嵌入的稀疏更新与优化器状态、分片稀疏通信、手写 64 维 head 的 flash attention、最后 300 步 EMA 与新优化器 Anvil2(约 1 秒)等。稀疏嵌入参数扩到 65B,贡献该 PR 约 25% 的收益;Thomas Wolf 转发并称 impressive,附上与 Deven 访谈整理的技术复盘 https://hyperstition.cc/training-nanogpt-in-39-9-seconds。

  3. HuggingFace Daily Papers(社区热门论文)44

    研究揭示 LLM 全流程为何默认偏向美式英语:1,813 组 AmE–BrE 变体与 DiAlign 方法

    研究以 1,813 组匹配的美式英语(AmE)与英式英语(BrE)变体为资源,提出免训练的 DiAlign 方法,从数据分布证据估计区域对齐度。AmE 在全部 6 个预训练语料和 21 个后训练数据集中均被偏好,tokenizer 表示更紧凑、预测成本更低,且在中性英语提示下仍是默认生成偏好;改用英式英语提示可向 BrE 偏移,但无法稳定消除 AmE 默认。

  4. HuggingFace Daily Papers(社区热门论文)30

    PLDR-LLM 的训练与推理动力学:行映射坍缩、重归一化与预测约简

    该专著提出 PLDR-LLM(幂律解码器表示语言模型)训练与推理的统一理论框架,用有限工作恒等式将行中心学习映射的绝对能量变化分解为参数贡献、带符号交互与数值观测缺陷。实验揭示了观测器与优化器依赖性,否定了所测试的自主行状态候选方案,并支持有限条件预测与状态特定的算子约简。理论区分了精确恒等式、条件动力学主张与有限实证发现,并给出证明、形式化检验与紧凑数值证据。

  5. Databricks:Blog(RSS)27

    Databricks 如何连接制造业产品价值链的数据与 AI

    Databricks 提出用 Data and AI Platform 打通制造业产品价值链各环节的数据,让跨阶段问题从人工查票变成一次查询。平台通过 zero-copy Open Sharing 和 Lakehouse Federation 直接访问源系统数据,无需为每个用例新建 ETL 管道或复制数据;需要镜像时可用连接器和云对象存储将数据汇入 lakehouse。

  6. AMD 官方77

    AMD 签署约 82 亿美元收购 World Labs 协议,李飞飞拟任首席科学家

    AMD 宣布以约 82 亿美元全股票交易收购 World Labs,双方已签署最终协议。交易完成后,李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报;预计今年底交割,仍需监管批准,不能视作已经完成。

    推荐理由:协议披露了世界模型团队与芯片平台整合的金额、路径和交割条件,为判断空间智能研发与算力布局的关系提供了新信息。

9月28日周一
  1. Databricks:Blog(RSS)38

    营销与数据工程最常误解的 24 个营销数据术语

    Databricks 博客梳理了营销与数据工程团队最常理解不一致的 24 个营销数据术语,围绕活动数据来源、客户身份、受众就绪、激活等五个实际问题展开。文章以“inactive customers”“real-time”等为例,说明同一术语在双方眼中的定义差异会直接影响构建内容、成本与上线时间,并建议在开工前先对齐含义。全部 24 个术语可通过可打印 PDF 获取。

  2. MIT News(RSS)78

    MIT利用AI算法优化RNA疫苗配方,实现室温稳定保存一年

    MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。

    推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。

  3. 小米 MiMo:官网发布与博客63

    小米 MiMo-V2.6 诊断并修复工具调用重复问题,用 MOPD 将修复成本降至 MixRL 方案的 4%

    小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。

    推荐理由:原文给出完整的归因实验和修复路径,还公开了成本对比,读者可借鉴其诊断 RL 训练中涌现行为的方法。

9月27日周日
  1. HuggingFace Daily Papers(社区热门论文)42

    CompoWorld:面向通用智能体的组合式环境扩展框架

    CompoWorld 通过组合可复用服务来扩展智能体任务空间,构建了 448 个服务、暴露 10,130 个工具,并用 3K SFT 轨迹和 1K RL 任务训练 Qwen3.6-35B-A3B。实验显示其在八个基准上平均提升 9.17 分,在 AutomationBench 上超过 Claude Opus 4.6 等前沿模型,并领先所有对比的 35B-A3B 专用智能体模型。

  2. HuggingFace Daily Papers(社区热门论文)39

    SMAT:简单高效的合并感知训练方法

    研究者提出 SMAT(Simple MAT),通过将常见模型合并操作归纳为 Scale、Mask、Perturb 三种,联合优化专家损失与模拟合并参数下的期望损失,并引入周期性调度、算子融合和参数存储切换,使每步仅需一次前向和一次反向传播。在四个语言与视觉语言骨干模型上,SMAT 将五种合并方法的平均分较各骨干最强基线提升 1.07-2.16 分,训练时间开销较标准微调不足 2%。

9月26日周六
  1. IT之家(RSS)64

    牛津博德利图书馆藏书被曝用于 OpenAI 模型训练,校方称已告知教职员工

    据卫报援引《信息自由法》调取的内部文件,OpenAI 数字化的牛津大学博德利图书馆藏书已被用于构建 OpenAI 训练集,而 2025 年 3 月的合作公告未提及此用途。截至 2025 年 6 月已提供 12.5 万份历史学位论文扫描影印页及 1 万首 16 世纪宽边民谣珍藏集;教职员工曾担忧声誉与环保风险,校方回应称资料均已超出版权保护期、授权非排他,并将陆续公开这批数字化文献。

9月25日周五
  1. Hacker News 热门(buzzing.cc 中文翻译)64

    Google Project Suncatcher 将发射搭载 TPU 的原型卫星测试太空 AI 算力

    Google Project Suncatcher 计划通过 SpaceX Transporter-18 拼车任务发射首颗原型卫星,测试 TPU 在太空的运行表现。Trillium TPU 在 UC Davis 质子束测试中可承受超过五年太空任务总电离剂量的辐射;团队正用热管加辐射板方案解决真空散热,并计划 2027 年发射两颗卫星测试高带宽激光互联。

  2. HuggingFace Daily Papers(社区热门论文)45

    ZooWork-ShopRanker:面向电商场景的偏好对齐重排序模型发布

    ZooWork团队发布ShopRanker系列电商重排序模型(0.6B/4B/8B),通过多LLM裁判生成偏好标签进行训练,并推出包含约1万条真实流量数据的ShopRank-Bench基准。实验显示该系列模型在电商检索任务上显著优于现有开源基线及未对齐版本,且小参数模型表现突出。目前模型与基准已开源。

  3. HuggingFace Daily Papers(社区热门论文)38

    MOPD-Router:多教师在线蒸馏中的令牌级路由新框架

    针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,研究者提出 MOPD-Router 框架。该框架无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由。其中提出的 ExpertAlign 指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign 在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明了令牌级路由能有效利用跨域互补监督。