NVIDIA AIPerf：大规模 LLM 推理基准测试实战

NVIDIA 推出 AIPerf，作为 GenAI-Perf 的指定继任者并从零重写，采用多进程架构与 ZMQ 协调，避免客户端成为压测瓶颈。它支持 15+ 端点类型、ShareGPT 等公开数据集以及 Mooncake、Baseten、WEKA（AgentX）的 trace 回放格式，并提供 constant、Poisson、gamma 到达模式与并发、请求速率渐进爬坡。