2025 年上半年蚂蚁与阿里云已联合向 vLLM、SGLang、TensorRT-LLM 三大推理引擎贡献了基础可观测 Trace，构建了从客户端到引擎端的多语言多协议分布式追踪能力，成为集团层面的事实标准。
但随着推理云服务承压加剧，请求级 Trace 逐渐无法解释更深层的问题：单个请求响应慢，往往是因为某些 Token 生成慢，而 Token 生成慢大多源于同一实例内其他请求的并发干扰；出现复读、答非所问、乱码等精度异常时，通常是从某个 Token 开始偏离，后续 Token 持续受影响。也就是说，问题本质发生在 Token 生成过程中。
因此 2025 年下半年，蚂蚁可观测团队构建了业界首个覆盖多推理引擎、支持 Token 级深度 Trace 的可观测产品，将可观测性从宏观请求下沉到微观 Token 维度，采集每个 Token 的生成耗时、子阶段、并发上下文和 Top-K 候选概率分布，把原本"黑盒"的引擎内部过程拆解成可透视、可解释、可归因的白盒系统。