跳到正文

#数据/训练

今日 0 条
10月6日周二
10月5日周一
10月4日周日
10月2日周五
  1. Google DeepMind71

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 推出 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印技术首次延伸到合成生物学,读者可了解 AI 生成蛋白质如何在保留功能的同时被标记与验证。

9月29日周二
  1. Hugging Face:Blog(RSS)67

    NVIDIA 发布开源表格基础模型 Kumo Tabular,在 TabArena 等四项基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,对带标签表格做单次前向推理即可完成分类和回归,无需训练、调参或特征工程。

    推荐理由:官方技术博客披露了架构、纯人工数据预训练配方和四项基准成绩,读者可据此评估其替换梯度提升树的可行性。

  2. Thomas Wolf55

    @classiclarryd 通报 Deven Pzak 将 NanoGPT 训练纪录从 67.6 秒压缩至 39.9 秒,PR 为 KellerJordan/modded-nanogpt#360。核心思路是在单个 flop 层面按价值取舍而非只优化 matmul,包括采样 softmax(约 8 秒)、ngram 嵌入的稀疏更新与优化器状态、分片稀疏通信、手写 64 维 head 的 flash attention、最后 300 步 EMA 与新优化器 Anvil2(约 1 秒)等。稀疏嵌入参数扩到 65B,贡献该 PR 约 25% 的收益;Thomas Wolf 转发并称 impressive,附上与 Deven 访谈整理的技术复盘 https://hyperstition.cc/training-nanogpt-in-39-9-seconds。

9月25日周五
9月22日周二
  1. Nathan Lambert67

    小米 MiMo-V2.6 系列发布,MiMo-V2.6-Pro 为 1.02T 总参数、42B 激活,MiMo-V2.6-Flash 为 310B 总参数、15B 激活。推文称其为 Artificial Analysis 上的开源模型榜首,并附 RL dashboard 和技术报告。报告称该全模态系列通过扩展 RL 算力追求模型自我改进,异步训练每步消耗 1,568 个样本、2.7~3.7B token,上下文最长 1M,并开源训练动态、RL 环境和 RL 框架。

9月17日周四
9月11日周五
9月10日周四
9月9日周三
9月8日周二
9月7日周一
  1. IT之家(RSS)59

    科大讯飞发布星火 X2.5 模型:293B-A30B MoE 架构,全国产平台训练

    科大讯飞 9 月 7 日正式发布星火 Spark X2.5 多语言文本生成模型,基于全国产平台训练,采用 MoE 框架,参数为 293B-A30B,支持 256K 上下文。模型全面提升代码和智能体能力,覆盖 200 余种语言,已在讯飞星辰 MaaS 平台上线,输入定价 1.6 元/百万 Token(缓存命中 0.24 元),输出 6 元/百万 Token。

9月5日周六
  1. IT之家(RSS)52

    小米发布并开源表格结构化数据大模型 Xiaomi-TabLDM,回归登顶 OpenML-CTR23

    小米发布通用表格数据基础大模型 Xiaomi-TabLDM,以单一预训练模型和统一默认配置直接适配不同表格数据集,完成分类与回归预测,模型权重与代码已开源。模型基于结构因果模型生成的合成数据预训练,架构引入双流特征分组、轻量级注意力残差和稀疏混合专家,并探索 Test-Time Scaling。

9月4日周五
  1. Hacker News 热门(buzzing.cc 中文翻译)78

    IFM 发布 K2 Horizon 六款开源模型,覆盖 0.9B 到 375B-A23B 并开放完整训练生命周期

    IFM 发布 K2 Horizon 模型系列,共六个模型:375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B,均以 Apache 2.0 开源,其中 0.9B、3.7B 和 7B 宣称在其规模上达到 SOTA,36B-A4B 采用新提出的稀疏注意力架构 MoVA。

    推荐理由:原文在发布模型之外还放出从预训练到智能体后训练的全流程产物,研究者可以据此复现和改造整套训练方法。

9月1日周二
8月6日周四
  1. Google DeepMind71

    Google DeepMind 发布 WeatherNext 气旋预报模型并开源

    Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在预测气旋路径、强度和风场结构上达到 SOTA,平均为预报员多争取一天预警时间,三天预报精度相当于此前模型的两天水平。

    推荐理由:原文给出气旋预报多出一天预警时间的实测结果与开源入口,读者可据此判断气象 AI 的可用边界。