跳到正文

#部署/工程

今日 0 条
10月2日周五
  1. Microsoft Research36

    微软研究院用机器学习预测电网空间天气风险,覆盖美国 66,935 座变电站

    微软研究院开发了一套端到端机器学习流水线,利用 L1 拉格朗日点的太阳风观测数据,为美国本土 66,935 座变电站生成 30-60 分钟前的空间天气风险预测。系统结合 AE 与 Dst 指数预测、地质电导率和电网数据,在 2020-2026 年评估期内检测到近 80% 的重大空间天气事件,其中 Dst 预测器在 62.2% 的高活跃时段优于 Burton 方程。

9月29日周二
9月27日周日
9月26日周六
9月25日周五
  1. HuggingFace Daily Papers(社区热门论文)39

    提出连续深度批处理技术,实现循环语言模型的高效自适应推理

    针对循环语言模型(Looped LMs)中不同 token 循环次数不同导致无法使用标准批处理系统的问题,研究者提出了“连续深度批处理”(CDB)方法。该方法通过在循环步骤间动态构建新批次、管理 KV 缓存及预测退出时机,实现了高效的深度自适应推理。实验表明,全循环架构最适合此方法,CDB 可实现高达 99% 的预估最大加速比。

9月24日周四
  1. Microsoft Research 博客(RSS)78

    微软研究院:机器人推理卸载至边缘/云端可显著提升性能与续航

    微软研究院发布关于物理AI机器人推理基础设施的研究。通过系统评估移动操作任务,发现将推理从机载GPU卸载至边缘或云端,能解决机载算力限制模型规模、导致响应延迟(最高383%)及精度下降的问题。实验显示,卸载推理不仅提升了任务成功率,还通过替换高功耗机载GPU为轻量硬件(如树莓派),使机器人电池寿命延长高达160%。此外,微软推出了基于Kubernetes的Physical AI Toolchain工具集,支持自动化容器化与分布式推理部署。

9月23日周三
9月22日周二
9月17日周四
9月16日周三
  1. HuggingFace Daily Papers(社区热门论文)45

    RayOrch:面向基础模型数据准备的谱系控制多粒度数据流执行引擎

    RayOrch提出了一种编程模型和分布式执行引擎,用于解决基础模型训练数据准备中异构文档和视频转换的扩展性问题。它通过保留父子关系、支持有序变量基数扩展及匹配收集,优化GPU批处理效率。在NVIDIA H20 GPU上,RayOrch将MinerU从4卡扩至64卡时加速15.14倍,视频流水线从8卡扩至64卡时加速7.82倍,端到端时间较Ray Data减少13.1%。代码已开源。

9月11日周五
9月9日周三
9月8日周二
  1. Epoch AI:研究、数据与评测69

    Epoch AI 实测 GPT-5.6 与 Claude 5 长上下文延迟缩放差异

    Epoch AI 测量四款模型的首 token 延迟(TTFT)随上下文长度的缩放,发现 GPT-5.6 Terra 和 Sol 呈明显二次曲线,Claude Sonnet 5 接近线性,Opus 5 噪声较大但仍接近线性。

    推荐理由:原文以实测数据和三种稳健估计器比较 GPT-5.6 与 Claude 5 的长上下文延迟缩放,可帮助读者理解两家不同的架构取舍与成本影响。

9月5日周六
9月4日周五
9月3日周四
9月2日周三
9月1日周二
7月29日周三
  1. Berkeley AI Research60

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将进化式内核搜索框架 K-Search 扩展到 MLX 后端,通过结构化的 CUDA 到 MLX 翻译层,把已有 CUDA 内核作为知识库迁移到 Apple Silicon。

    推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,给出注意力与 Mamba 两个内核的具体加速数据。

4月22日周三