跳到正文
原文
SemiAnalysis· @SemiAnalysis_ · X·· 21 天前AI 评分51
AI 导读

SemiAnalysis 称智能体流量现已占全部推理流量 70% 以上,并总结了智能体负载的四个特征:多轮会话带来高 KV-cache 复用潜力、系统提示词与工具定义使上下文快速累积、线性对话使多数上下文可由 KV cache 直接服务(随轮数增长缓存输入与未缓存输入之比趋于 1)、以及子智能体突发产生的短上下文突发式 KV-cache 模式。

整理与数据来源:AIHOT

来源:SemiAnalysis · x.com