Codex 雷达上线一段时间了,做个月度复盘

温州程序员劝退师 2026-08-12 15:40 1


这本来是七月份的复盘,忙忙碌碌拖到今天,不过正好分布式雷达上线也快一个月了,也算一个月度复盘吧



毛两个月前,站长做了个 tibo 重置预告,针对 tibo 的推特进行分析来判断重置概率,在运行一段时间后我们发现大家在讨论重置之余,也总是诟病模型降智问题,因此我们一拍即合做了 codex 智商监测。


最早的时候,我们拿了现成的 SWE 评测标准,几个人凑了点号在后台每天运行测算模型 IQ,得到一些基准数据并发布到网站上,没想到一经发布流量就爆了 ^-^ 原来也有很多小伙伴跟我们一样,对着经常货不对版的模型光烧 token 却得不到想要的结果。


再次运作一段时间后,蹬友们开始不满足于每日一出的 IQ 报告,我们增加了评测频率,希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token,但由于担心中转的模型不能直观有效地反应 oai 模型质量,我们商讨之后还是拒绝了,依然使用几个 20x 账号进行评测。


再再后来,我们的钱包实在撑不住了(服务器、流量、订阅等综合成本实在是高昂),为了分摊一些成本,我们不再增加订阅账号,而是新做了一个分布式雷达站点,让蹬友们可以把多余的 token 贡献到具体的题目上,为 IQ 测算出一份里,也能增加智商监测的实时性。


以上是两个站点的由来(其实还有一个 claude 智商监测站,但是 A\ 把我们手上的 max 号全封完了,遂暂停!(口吐芬芳))


一路走来,感受到在工作之余为别人解决一些真切问题的谢意,互联网上的真诚感谢比真金还贵重,在此也感谢大家的心意支持和 token 支持。


===============================

接下来汇报一下进展和未来要做的事情


月活量已经做到了 40w(分布式站)


收到网上热心大哥们的热心助力共计 12 万刀



为了感谢大哥们的支持,我特地制作了 3D 打印奖杯作为答谢


未来针对 SWE 基准和实际工程应用的体感偏差,我们正在抓紧商讨设计新的测试集,在这里要特别感谢 @80yan9 佬友的前端网站复刻相关帖子和 skill 在友好交流后,我们在想办法把他的成果固化成测试题,解决了前端工程能力测试难以度量的痛点。接下来我们希望我们能做出更贴合实际体感的测试结果,减少高分低能的情况出现。


最后,衷心祝愿大家永不封号,永不降智,开心地蹬!

最新回复 (19)
  • 白芸汐 08-12 15:43
    1

    有人一起做真好,我这种孤家寡人只能天天搞从零开始

  • Aluozzz 08-12 15:44
    2

    每天早上到达工位除了泡一杯咖啡之外,就是打开分布式雷达站翻牌子 ^-^

  • 温州程序员劝退师 楼主 08-12 15:45
    3

    我们一开始也有点玩票想法的,但是用户越来越多,这件事情就成了羁绊 ^-^

  • qqqq_quant 08-12 15:50
    4

    求问网址是啥呀,我来瞅瞅,我来翻一下牌子 ^-^

  • A84493 08-12 15:54
    5

    要是能加上长上下文能力的评测题库就好了,现在评测出来luna max比sol还强,但实际体感是Luna max在上下文长了之后就不行了

  • xie reens 08-12 15:54
    6

    这个站点是佬友做的嘛?多少人一起搞的

  • fonlan 08-12 15:56
    7

    老哥NB,希望后续能加入更多模型的智商评测,包括更多国模

  • 温州程序员劝退师 楼主 08-12 16:01
    8

    这个本来有考虑的,但是成本实在太高了,现在一个月的固定成本就破万元了 ^-^

  • 温州程序员劝退师 楼主 08-12 16:02
    9

    暂时加上了 DeepSeek

    Kimi 买不到走 API 成本又太高了

  • Aluozzz 08-12 16:25
    10

    搜索codex雷达就能找到了,网址就不发了

  • ishadows 08-12 16:30
    11

    分布式的话,会不会存在中转站的测试数据混进去?

  • 温州程序员劝退师 楼主 08-12 16:32
    12

    封装好的镜像里只允许官方调用,所以不会有这个问题

  • bibaichen 08-12 16:32
    13

    感谢佬开发的雷达站,希望雷达站越做越好

  • wo_shi_nai_long 08-12 16:38
    14

    佬你好,能不能做一个Claude 雷达,实时监测Claude的智商

  • 温州程序员劝退师 楼主 08-12 16:39
    15

    连续被封号,暂时没钱再开新号了,不过近期会恢复 claude 监测的(等封号不那么猛)

  • scp3500 08-12 16:54
    16

    支持大佬,我还想问一下deepseek比gpt少了一些题是因为涉及视觉吗

  • 温州程序员劝退师 楼主 08-12 16:57
    17

    对,毕竟不是多模态模型,不知道 ds-v4-pro 最终端上来会是什么样

  • 神算子 08-12 16:58
    18

    我也参与了下,网站有个问题,我无法看到跑分的历史记录。

  • 温州程序员劝退师 楼主 08-12 16:59
    19

    感谢佬友的支持,建议佬友提一下问题反馈



    我们已经把反馈修复流程建立起来了,再次感谢

* 帖子来源Linux.do
返回