推理引擎本质上是一个无限循环执行 Iteration 的系统:每个迭代按调度策略选取一批请求组成 Batch 批量执行,被选中的请求通常在这一迭代内生成一个 Token,然后进入下一个迭代。
LoongSuite GenAI SemConv 面向 Token 粒度定义了两类关键属性。性能类属性采集每个 Token 进入和退出迭代的时间戳,可推演出调度时间、实际执行时间和用户感知的总耗时;同时记录该 Token 所在 Batch 的总请求数与总 Token 数,用于刻画批处理负载对生成耗时的影响。精度类属性则采集每个 Token 对应的 Top-K 候选 Token 概率分布,用于判断模型输出质量:候选 Token 不符合预期通常代表模型质量差,若期望的 Token 不在 Top-K 中则更可能是采样参数如温度设置不合理。
基于这套标准数据,团队打造了"引擎显微镜"产品:Token 分析像高倍镜聚焦单请求的 Token 生成步骤耗时和 Top-K 概率,引擎并发剖析像广角镜头展示所有请求的并发、竞争与协作,帮助 SRE/引擎/业务同学 10 倍提速稳定性问题定界。