NVIDIA Technical Blog：Agentic AI / Generative AI·2026-09-22 00:00· 17 天前AI 评分44

NVIDIA 机密计算如何让 TensorRT LLM 推理保留 96% 以上吞吐

Enabling Private High-Performance Production AI Inference with NVIDIA Confidential Computing

AI 导读

NVIDIA 在 DGX B200 上对比机密计算（CC）开关状态下的 TensorRT LLM 推理性能，CC 开启后输出吞吐保留 96.1%–98.2%，平均 TPOT 开销为 1.2%–4.3%。

整理与数据来源：AIHOT