aidy.v2.ext.perf

Messages

message PerfExt

流式性能指标。

message PerfExt {
    // 首个非空输出型 delta 的时间，单位毫秒。
    int32 ttft_ms = 1;
    // 从首个输出 delta 到 attempt 结束的耗时，单位毫秒。
    int32 generation_ms = 2;
    // 输出 token 数。
    int32 output_tokens = 3;
    // 每秒输出 token 数。
    double tops = 4;
}