跳到正文

#部署/工程

今日 12 条
9月24日周四
  1. eric zakariasson77

    一份公开提示词用于优化 LLM Agent Harness,目标是在不降低任务质量的前提下降低每任务的价格加权 token 成本。某团队一轮改动(提示词精简、工具卸载、缓存布局、稀疏行号、子智能体调优)将整体 token 成本降低约 7%,且质量无损。提示词强调按任务而非按请求计量,并建议先映射 harness、测量基线,再按优先级实施改动。

    推荐理由:来自 Cursor 团队经验的完整 agent harness 降本 prompt,给出实测数字、执行顺序和常见陷阱,可直接复用。

  2. Modal 官方工程博客(RSS)62

    Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

    Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数千亿 token。

    推荐理由:原文以一线实践拆解编码 Agent 推理优化的完整路径,读者可以迁移其瓶颈定位与 KV 缓存路由方法。

  3. eric zakariasson57

    Cursor 宣布在不降低 Agent 质量的前提下将 token 成本降低 7%,手段包括更紧凑的提示词、按需加载工具、更好缓存和压缩文件读取。作者转发并补充称,智能体工作前后会大量读取以收集上下文,因此优化读取收益明显,建议构建 Agent 的读者参考该文章或让 Agent 直接落实这些发现。配图显示 read 是最常用工具,占 91.3% 的 Agent 会话,grep 77.8%、glob 68.5% 次之。

  4. Google DeepMind:Blog(RSS)54

    Google DeepMind 为 Private AI Compute 增加安全的服务端持久记忆

    Google DeepMind 宣布将为 Private AI Compute 平台引入私密的服务端持久记忆,使 AI 助手能跨设备长期保留上下文。数据密封在云端专用加密存储中,解密密钥仅保存在用户设备上,请求通过端到端加密通道在隔离的安全飞区中临时解密处理,即使 Google 也无法访问。

  5. Microsoft Research 博客(RSS)78

    微软研究院:机器人推理卸载至边缘/云端可显著提升性能与续航

    微软研究院发布关于物理AI机器人推理基础设施的研究。通过系统评估移动操作任务,发现将推理从机载GPU卸载至边缘或云端,能解决机载算力限制模型规模、导致响应延迟(最高383%)及精度下降的问题。实验显示,卸载推理不仅提升了任务成功率,还通过替换高功耗机载GPU为轻量硬件(如树莓派),使机器人电池寿命延长高达160%。此外,微软推出了基于Kubernetes的Physical AI Toolchain工具集,支持自动化容器化与分布式推理部署。

9月23日周三
  1. vLLM 官方博客(RSS)74

    vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0,把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon,由 MLX 和 Metal 执行模型,版本号与上游 vLLM 对齐。

    推荐理由:官方首次发布 vllm-metal,用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题,并给出可复现的并发基准数据。

  2. Rohan Paul64

    FT 报道称中国正考虑对 Broadcom 交换机采取限制措施,这类交换机在国资背景数据中心部署中占比可能高达 90%。国务院国资委近几周调查了国有控制数据中心对 Broadcom 的使用情况,审查针对 AI 基础设施中在训练和推理期间加速器之间传输数据的高速交换机,背景是推动国产厂商发展、降低对外国 AI 基础设施的依赖。

  3. OpenRouter:Announcements(RSS)62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。

    推荐理由:原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

  4. Claude:Blog(网页)71

    Anthropic 详解 Opus 5.5 上一次 Claude Code 任务的成本构成

    Anthropic 官方博客拆解 Claude Code 任务在 Opus 5.5 上的成本构成,轮次、缓存读取、输出 token 和模型选择决定账单,Opus 5.5 API 输入输出每百万 token 降价 20%、缓存读取降 60% 至 $0.20。

    推荐理由:原文把一次任务的 token 成本拆成轮次、缓存、输出和模型选择四项,并给出 effort 设置与缓存维护的可迁移省钱方法。

9月22日周二
  1. Hacker News:AI 热帖63

    Drop 发布:支持 gVisor 的无 root Linux 沙盒

    作者发布 Drop,一款无 root 的 Linux 沙盒工具,用于隔离编码智能体和第三方程序。它基于现有发行版运行,无需 Docker/Podman 容器配置,通过 TOML 配置暴露文件、目录和本地网络服务,用独立的 home 目录隐藏原环境;可选 gVisor 用户态内核作为额外隔离层,防止沙盒程序直接访问宿主内核。

  2. LlamaIndex:产品、工程与评测66

    LiteParse 9 月更新:PDFium 提速 20-25%,新增视觉定位与 is-complex 路由 API

    LlamaIndex 发布 LiteParse 2.14.6 更新,通过对自维护 PDFium fork 做内存分配优化(内置 mimalloc)等手段,将文本提取耗时降低 20-25%,平均 2.76ms/页,markdown 渲染 3.94ms/页。

    推荐理由:原文给出速度、表格准确率等实测对比数据和新增 API,读者可据此评估是否替换现有 PDF 解析方案。

  3. OpenRouter:Announcements(RSS)70

    OpenRouter 推出 Batch API,批量推理可享半价

    OpenRouter 发布 Batch API,异步批量请求由供应商在 24 小时窗口内完成,通常按正常 per-token 价格的 50% 或更低收费,目前已支持 70 多个模型。

    推荐理由:公告给出折扣幅度、70+ 模型覆盖和 beta 期 230k+ 批次的实测完成时间,还提示了提交时段对速度的影响。