跳到正文

#数据/训练

今日 2 条
9月7日周一
9月6日周日
  1. IT之家(RSS)67

    国内首款 AI 辅助研发创新药艾普司韦获药监局附条件批准上市

    由西湖大学、西湖实验室、西湖制药联合研发的盐酸伊司特韦片(商品名:艾普司韦)获国家药品监督管理局附条件批准上市,用于成人轻型、中型新型冠状病毒感染治疗。这是西湖大学首款完全自主研发的 1 类创新药,也是全球第一款基于 DNA 编码化合物库(DEL)技术获批的小分子创新药,以及国内首款凭借 AI 辅助研发获批上市的原创药,从源头发现到完成临床试验仅用时三年半。

  2. HuggingFace Daily Papers(社区热门论文)54

    ParSer 论文提出并行读取与深度推理解耦的长上下文智能体架构

    论文提出 ParSer,用一批冻结的轻量子智能体并行读取文档块,由经强化学习训练的主导智能体通过多轮 scatter-gather 迭代推理,将阅读与推理解耦。在 7K 到 896K token 的多跳 QA 上,4B 主干平均超过最强顺序记忆基线 5.7 分,896K 时领先 12.0 分,9B 版超过 DeepSeek-V4-Pro 6.3 分,并将推理延迟最多降低 11 倍。

  3. AI at Meta58

    Meta 官方宣布,其自主 AI 研究系统 AIRA₃ 于 6 月参加 NVIDIA 主办的 Kaggle 竞赛,任务是对 30B Nemotron 模型进行微调以提升推理能力,所有参赛者使用相同信息并在私有测试集上外部评分。AIRA₃ 在约 4000 支队伍中排名第 8 获得金牌,超越了拥有同样前沿工具的人类参赛者。Meta 认为这表明 AIRA₃ 可以在类似人类专家的水平上提升模型的指定能力。

9月5日周六
  1. Hacker News 热门(buzzing.cc 中文翻译)45

    为什么下一个令牌预测器是对 LLM 的错误思维模型

    作者认为下一个令牌预测器只是对 LLM 的零阶近似,机制形态正确但不完整。现代后训练中的 RLVR 让模型通过自己探索生成的新序列并获得奖励来学习,类似会穷尽探索的象棋引擎而非模仿大师棋谱的下一步预测器,因此 RLHF 和 RLVR 编码的内容早已超出对现有文本的预测。

  2. IT之家(RSS)52

    小米发布并开源表格结构化数据大模型 Xiaomi-TabLDM,回归登顶 OpenML-CTR23

    小米发布通用表格数据基础大模型 Xiaomi-TabLDM,以单一预训练模型和统一默认配置直接适配不同表格数据集,完成分类与回归预测,模型权重与代码已开源。模型基于结构因果模型生成的合成数据预训练,架构引入双流特征分组、轻量级注意力残差和稀疏混合专家,并探索 Test-Time Scaling。

9月4日周五
  1. IT之家(RSS)61

    Meta 为 Muse Spark 1.2 和 1.3 推出数据共享折扣计划,价格仅为原价的 1.3-8%

    Meta 针对 Muse Spark 1.2 和 1.3 模型推出贡献者折扣计划,用户同意共享提示词和生成结果用于训练后续模型即可享受大幅降价。具体为每百万 Token 输入从 1.25 美元降至 0.10 美元(8%),缓存命中输入从 0.15 美元降至 0.002 美元(1.3%),输出从 4.25 美元降至 0.20 美元(4.7%)。

  2. IT之家(RSS)62

    消息称月之暗面最早年内赴港 IPO,拟融资最高 50 亿美元

    彭博社援引知情人士消息称,月之暗面考虑最早今年年内赴港上市,融资规模有望达 30 亿至 50 亿美元,已聘请美国银行担任整体协调人,与中金公司、德意志银行和高盛共同参与。月之暗面近期完成 35 亿美元融资,估值 350 亿美元,并计划以 500 亿美元投前估值进行新一轮融资;7 月发布的开源模型 Kimi K3 受到全球关注。

  3. Google Research:Blog(网页)45

    Google Research 研究跨人群多基因风险评分迁移学习,提出跨人群 GWAS 训练指南

    Google Research 用 UK Biobank 约数十万欧洲样本与 Biobank Japan 近 20 万日本样本,在 8 项临床性状上评估多基因风险评分(PRS)的跨人群迁移效果。结果显示,目标人群样本达 15k 以上时,目标人群专属模型优于混合欧洲数据训练;遗传相关性高的性状可继续受益于欧洲数据至 25-40k+ 样本,而 HDL、LDL、血糖等高度人群特异性性状受益明显更小。

  4. Hacker News 热门(buzzing.cc 中文翻译)78

    IFM 发布 K2 Horizon 六款开源模型,覆盖 0.9B 到 375B-A23B 并开放完整训练生命周期

    IFM 发布 K2 Horizon 模型系列,共六个模型:375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B,均以 Apache 2.0 开源,其中 0.9B、3.7B 和 7B 宣称在其规模上达到 SOTA,36B-A4B 采用新提出的稀疏注意力架构 MoVA。

    推荐理由:原文在发布模型之外还放出从预训练到智能体后训练的全流程产物,研究者可以据此复现和改造整套训练方法。

9月3日周四