CPA更新以后首字从200ms变成4秒?

linmao 2026-08-31 23:14 1

之前不开websocket,首字1-2秒

开了websocket,首字200ms-400ms


最近更新到v7.2.146以后

开启WebSocket不变的情况下,首字变3秒以上了?

是websocket失效了,还是首字统计改了计算方法?

最新回复 (9)
  • VentiByte 08-31 23:15
    1

    200ms显然是假的,做不到的吧。

    或者说这200ms只是中转的耗时

  • linmao 楼主 08-31 23:16
    2

    所以之前websocket开启后首字时间其实是错的,只是安慰剂,现在修复了的意思啰 ^-^

  • Hao 08-31 23:26
    3

    让 AI 分析了一下 CPA 源代码,发现新版本 CPA 的 TTFT 计算规则确实发生了一些变化,如下:



    更具体的, v7.2.145 及更早的 CPA 版本会在收到任何事件时终止 TTFT 计时,v7.2.146 则只会在收到实际生成 tokens 的事件时才终止 TTFT 计时。


    这些事件现在不会结束 TTFT:

    codex.rate_limits
    codex.response.metadata
    responsesapi.websocket_timing
    response.created
    response.in_progress
    response.output_item.added
    response.content_part.added
    response.reasoning_summary_part.added
    response.web_search_call.in_progress
    response.file_search_call.searching
    response.code_interpreter_call.interpreting
    response.mcp_call.in_progress

    要等到以下事件之一才停止:

    response.output_text.delta
    response.reasoning_summary_text.delta
    response.reasoning.delta
    response.reasoning_text.delta
    response.function_call_arguments.delta
    response.custom_tool_call_input.delta
    response.shell_call_command.delta
    response.audio.delta
    response.image_generation_call.partial_image

    所以现在这个 TTFT 甚至会把一部分 reasoning 过程消耗的时间也算进去,自然就数值膨胀了。因为第一次生成 reasoning_summary_text 的时候显然已经进行了一个阶段的推理了。更何况有人根本没有开 reasoning summary。

  • yaozecc 08-31 23:32
    4

    我也发现首字提高了,也不稳定,有的时候几百毫秒的时候五六秒

  • 菜鸡rrr 08-31 23:33
    5

    本来就不可能几百毫秒,现在是合理的

  • linmao 楼主 08-31 23:34
    6

    如果只是首字延后了,那TPS应该不变才对,怎么现在还变低了……

    对输出的结束判定也延后了嘛 ^-^

  • Hao 08-31 23:36
    7

    由于 OpenAI 不会在推理过程中返回 reasoning tokens,真实的 TTFT 根本就无从计算。更新前后都只是估计,之前是估计的小了,现在是估计的大了。不过我也觉得现在要更合理一些,之前那个稳定 200ms 确实没有任何参考价值。

  • Hao 08-31 23:38
    8

    实际情况是 TPS 升高了,因为 TPS=Tokens/(总延迟-TTFT),总延迟和 Tokens 不变,TTFT 增大,TPS 自然就增大了。可以看下面的真实统计数据:



    可以说 TPS 是显著增大了,而不是你说的变低了。如果你观察到变低了,有可能是样本数还不够多,也有可能你账号被限流了。

  • UESTC 08-31 23:41
    9

    别看数据,不管什么首字,tps,就看体感,体感你觉得快了慢了?

* 帖子来源Linux.do
返回