跳到正文

#部署/工程

今日 12 条
9月22日周二
  1. Hugging Face:Blog(RSS)73

    transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp

    Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。

    推荐理由:官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

  2. IT之家(RSS)51

    阿里平头哥将在云栖大会发布 AI 芯片真武 V900,算力达真武 M890 的 3 倍

    阿里平头哥将在 9 月 22 日至 24 日杭州云栖大会上发布 AI 芯片真武 V900,算力提升至真武 M890 的 3 倍,基于它的单一集群可扩展至 50 万卡,支撑前沿模型训练和推理。平头哥已布局真武系列 GPU、倚天系列 CPU、磐脉系列智能网卡和 ICN 互联芯片,自研 M890 AI 超节点已支撑超过 2 万亿参数大模型的高效推理,今年第四季度阿里云还将新增服务节点扩大超节点供给规模。

  3. IT之家(RSS)61

    欧盟拟要求额定容量超 500 千瓦的数据中心运营商披露能耗和用水情况

    欧盟委员会提出新规,计划要求额定容量超过 500 千瓦的数据中心运营商通过统一评级体系披露能源和水资源使用情况,目前已启动为期两个月的咨询期。运营商需说明用水与当地水资源压力的关系,以及能否回馈当地能源系统如再利用余热;欧盟援引 IEA 数据称 2024 年数据中心耗电约 68 TWh,预计 2030 年增至 114 TWh,占欧盟总用电量 3% 以上。

  4. OpenRouter:Announcements(RSS)62

    OpenRouter 解读 NVIDIA Nemotron 3.5 Lightning 如何承担 Agent 高频执行调用

    OpenRouter 发文解读 NVIDIA 的 Nemotron 3.5 Lightning,这是一款 30B 总参数、约 3B 激活参数的混合专家开源权重模型,定位于工具调用、编码等高频、边界清晰的 Agent 执行步骤,与负责复杂推理的 Nemotron 3 Ultra(550B 总参数、55B 激活)形成分工。

    推荐理由:OpenRouter 结合自家端点数据拆解 Nemotron 3.5 Lightning 的定位、上下文和调用差异,读者可据此评估它在 Agent 执行层的适用性。

  5. Linear:Now(RSS)62

    Linear 重构 CI 流程应对 AI 编码带来的验证瓶颈,PR 等待时间从 6 分钟降至 5 分钟

    Linear 工程师分享如何解决 AI Agent 加速写代码后 CI 成为瓶颈的问题,PR 等待时间从 6 分钟以上降至 5 分钟出头,单测 runner 时间约减半。

    推荐理由:作者以第一手实践拆解 Linear 优化 CI 的具体做法与数据,读者可将其方法迁移到自己的 TypeScript 项目。

  6. Tomer Tunguz 博客(VC 分析)66

    Tomer Tunguz 谈 AI 优化 if-then 判断:专用决策器把分类成本降近百倍

    Tomer Tunguz 撰文提出最新一波 AI 正在接管软件中的 if-then 判断原语,Jev 与 SemIf 这类专用决策器以数百毫秒返回结果,成本比传统生成式调用低约 76x 到 209x。作者在自己的 Agent 中替换了约四分之一的调用,在 98 条人工核验的生产邮件线程上,Jev 达到 80%、本地 SemIf 达到 82% 的分类准确率,高于生产模型的 47%。

    推荐理由:作者结合自身 Agent 的替换实验给出成本与准确率对比,为判断专用小模型何时可替代前沿模型提供参照。

  7. Fireworks AI(网页)61

    Fireworks AI 推出 Specialized Intelligence Index 领域基准索引

    Fireworks AI 推出 Specialized Intelligence Index(SII),汇集开放、闭源与专用模型在真实工作任务基准上的表现,首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。

    推荐理由:Fireworks 联合多家行业实践方推出领域基准索引,不做跨领域综合排名,读者可按成本和时长自行权衡模型选择。

9月21日周一
  1. Hacker News 热门(buzzing.cc 中文翻译)58

    ZuckOff 应用上线,可通过 Bluetooth 检测附近是否有摄像头眼镜

    ZuckOff 应用发布,通过监听 Ray-Ban Meta、Oakley Meta、Snap Spectacles 等摄像头眼镜的 Bluetooth 广播来提醒用户附近有摄像头设备。应用不上传数据、无需账号,可查看每条报警的证据、记录所有听到的蓝牙设备、通过 Shortcuts 或 Siri 控制扫描并导出 CSV 日志;作者说明静音不等于没有拍摄,并征集未收录硬件的实测数据。

  2. Prime Intellect(网页)57

    Prime Intellect 发布 Prime Sandboxes:面向智能体 RL 训练的 microVM 沙箱正式可用

    Prime Intellect 宣布 Prime Sandboxes 正式开放,每个沙箱是完整 Linux 虚拟机,已有约 3000 万个沙箱被创建。默认账户可自服务运行 1,024 个并发沙箱并可扩至数十万,提供超 365,000 个预构建环境,支持 Docker 镜像直接使用,并集成 verifiers、prime-rl 与 Prime Tunnels。

9月20日周日
  1. IT之家(RSS)57

    国内首次“通感智算”一体化技术验证卫星鹏城首发星发射成功,搭载 5G NTN 基站与星地激光

    2026 年 9 月 20 日 12 时 03 分,力箭一号遥十八火箭成功发射 9 颗卫星,其中鹏城首发星暨鹏城南科一号是国内首次把 5G NTN 基站、核心网、星载 AI 智算、星地激光及微波通信联合搬上天的技术验证卫星,由银河航天与鹏城实验室、南方科技大学等联合研制。

9月19日周六