2. V2EX
  3. 7 月 9 日， OpenAI 主动承认用于代码评测的 SWE-Bench Pro 有约 30% 的任务有缺陷，导致分数失真，不再推荐它作为前沿模型的主要评测标准

7 月 9 日， OpenAI 主动承认用于代码评测的 SWE-Bench Pro 有约 30% 的任务有缺陷，导致分数失真，不再推荐它作为前沿模型的主要评测标准

JoeJoeJoe 2026-07-09 09:20 1

信息来源:


https://openai.com/index/separating-signal-from-noise-coding-evaluations


https://openai.com/index/separating-signal-from-noise-coding-evaluations


https://x.com/OpenAI/status/2074972179385720836


https://x.com/OpenAI/status/2074972179385720836

最新回复 (6)
  • HHHans 07-09 10:47
    1楼
    是不是测完发现自己的 5.6 跑分打不过 Fable
  • loveshuyuan 07-09 10:49
    2楼
    打不过 = 测试用例有问题
  • diudiuu 07-09 10:51
    3楼
    大家都有 30% = 没有缺陷
  • zhmouV2 07-09 11:39
    4楼
    xai 发 grok4.5 的 benchmark 里面 SWE Pro 5.5xhigh 打不过 glm5.2
  • JoeJoeJoe 楼主 07-09 12:17
    5楼
    @HHHans
    @loveshuyuan
    @diudiuu
    @zhmouV2

    哈哈哈哈 打不过 = 测试用例有问题, 一琢磨好像也能说的通.
  • paopjian 07-09 13:11
    6楼
    我就好奇他们这测试集发出来没做过人工审查么, 没审查过也敢做指标, 现在好怕各种模型把测试集都练了, 那评估个屁
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐