2. NodeSeek
  3. 我烧了 37 亿 Token，换来一个结论：同一个 GPT 换个转发工具，编程题通过率能差 3 倍【开源可复现】

我烧了 37 亿 Token，换来一个结论：同一个 GPT 换个转发工具，编程题通过率能差 3 倍【开源可复现】

Chikage 2026-10-29 10:28 1

属于预热吧，视频还在制作，可以先看这个仓库,记录了测试方法过程以及结果


https://github.com/Stravia-AI/reasoning-relay-benchmark















































路线 版本 通过 通过率 95% CI agent 耗时中位数 计分试验中超时 上游请求带回加密推理
Stravia dev e67b6e0f（0.5.3） 47/74 63.5% 48.6%–77.9% 18.2 min 1 11,640 / 11,845（98.3%）
CPA v8.0.43 13/74 17.6% 6.9%–30.0% 59.6 min 35 0 / 13,772
sub2api v0.2.18 18/74 24.3% 11.7%–38.9% 41.0 min 14 0 / 15,220

觉得有用的大佬们可以关注支持一下

Bilibili

抖音


微信公众号

最新回复 (15)
  • seeker11071 10-29 10:30
    1楼

    直接说结论就好

  • niunai4321 10-29 10:30
    2楼

    我早就发现了，但是没有证据

  • Chikage 楼主 10-29 10:32
    3楼

    @seeker11071 #1 结论在表格里面啊

  • chen389 10-29 10:33
    4楼

    牛逼牛逼

  • moyuyjs 10-29 10:41
    5楼

    用的什么模型？ 具体原因？ 和proxy工具注入提示词， 还是proxy伪装的不够好导致上游降智导致的？

  • wuhujiang 10-29 10:44
    6楼

    牛牛牛

  • Chikage 楼主 10-29 10:52
    7楼

    @moyuyjs #5 看git仓库

  • shen1e 10-29 10:57
    8楼

    新出的 magpie 测一下

  • reusu 10-29 11:10
    9楼

    你可以试试 ccswitch的路由

  • ghgg4545 10-29 11:16
    10楼

    如果我使用的CPA已经使用 WebSocket 增量传输。你这个还有优势吗？我看了一下你使用的Sub2API测试记录显示实际采用的是 HTTP/2 全量上下文传输，travia 用 WebSocket，其他三路实际走 HTTP，本身就有些局限性了。

  • niunai4321 10-29 11:26
    11楼

    和opencode比一下呢。

  • Chikage 楼主 10-29 11:58
    12楼

    @reusu #9 https://www.bilibili.com/video/BV1NJnb61E3u/?spm_id_from=333.337.search-card.all.click 这个视频就对比了cc switch ，速度是更快的。 这次新的正确性测试没带上他，是因为他直接不支持 chat completion 协议接入

  • Chikage 楼主 10-29 12:00
    13楼

    @ghgg4545 #10 你说的应该是 https://github.com/Stravia-AI/codex-relay-benchmark 这个测试项目，这个完全没有偏驳，因为工具连接网关都是走一个协议，都是一样的默认设置，从 全量自动到增量的转换，只有stravia做了 客户端全量请求，但是网关到上游走增量请求的转换。

  • snvtac 10-29 12:04
    14楼

    所以看上去，直连(Oauth登录)和 cpa，sub2api 这种代理工具代理出来的模型智商，还是有很大差距的

  • ghgg4545 10-29 13:30
    15楼

    @Chikage #13 cpa也可以设置的。只是正常是默认关闭的状态。我觉得可以用统一的同一种ws或者http模式在测试才更有对比意义

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐