2. NodeSeek
  3. 浅谈openai的没落，以及GPT-5.6-Sol豆包水平

浅谈openai的没落，以及GPT-5.6-Sol豆包水平

wereiyou 2026-07-11 19:37 1

相信经过最近的测试，GPT-5.6全系列大家已经测试的差不多了。TL;DR：因为OAI为了降低Token成本，这次Luna全线不如美国豆包算力，Terra也不如上一代5.5，明星产品GPT-5.6-Sol在我很多benchmark里面均取得了非常非常难堪的成绩，如下图片取自一个公共benchmark index，但是和我自测表现差不多。自从每次新模型出了之后，我都会简短做些报告企业内部使用，虽然我无法把完整报告发出，但是结论基本就是：这个模型很适合本身不懂编程的人进行vibe voding，而且相比上个模型出错率，完成率，attention（needle in a haystack测试），subagent运用均有提升，但是本身模型智商没有太大变化。也就是说如果你本身是一个senior的程序员，这个模型不会对你提升太多，而且可能还会有生产力下降。


我实际测试中用到了API，也对比了企业内部能拿到的GPT-5.5-Cyber模型，以及Codex里面的GPT-5.5-Sol模型，但是测试和实际使用下来我不觉得这是一个和Fable同级别甚至接近的模型。它模型本身设计，算力，我觉得更接近于Claude Opus 4.8 Max（从单Axis判断模型比较片面，观点只从Sr.SWE角度出发），而且Codex版本是顶级阉割版*，在我实际体验完全更是不如Opus 4.8 Max, 所以很显然日后在我个人使用（甚至是企业）Fable也将是更主流使用的模型，相比于GPT-5.6-Sol这种更廉价的模型。


(1.) 根据内部技术测试，GPT-5.6-Sol Max 在 Codex 架构中仅分配了 372k 的上下文容量。

(2.) 下面评论中对话excerpt：是的，它（指GPT-5.6)现在追求的是独立自主完成任务，不需要太多外部干涉，然后overthinking所有事情，尽量让结果bug free，一个任务可以跑很多很多小时，自己就是engineer。但是我需要的不是工程师，我需要的只是一个工具，像Claude模型那样的。这种一个任务占用很多小时只是单纯降低生产力，毕竟我现在也是按时薪领工资的，不可能让他整天整夜的跑任务。

(3.) 忘记提了，如下图片摘录于Senior SWE Bench, 测试任务源自各类代码仓库（涵盖从基础库到多服务应用）中的 Pull Request (PR)，这些 PR 均由在各自仓库中拥有数百次提交记录的工程师编写。


最新回复 (50)
  • YULO 07-11 19:38
    1楼

    真假，我用着还行啊。

  • wereiyou 楼主 07-11 19:39
    2楼

    @YULO #1 可以参考下图片，刚图挂了

  • lehuoyisheng 07-11 19:39
    3楼

    还没玩上

  • wereiyou 楼主 07-11 19:40
    4楼

    虽然图上Sol用的是xhigh的reasoning effort，但是在我这里实测相比于xhigh差别并没有想象中的那么大，有的时候甚至regression

  • wereiyou 楼主 07-11 19:41
    5楼

    @lehuoyisheng #3 现在听说plus版本也可以用Sol了，基本全线都上了吧，除了Free号

  • wereiyou 楼主 07-11 19:45
    6楼

    如果有渠道，而且比较追求生产力，（如果你本身就比较懂编程）那么我更推荐A/的Opus 4.8 Max和Fable 5，最起码上下文是满血的，并没有任何像OAI的阉割

  • xiaomaomao888 07-11 19:45
    7楼

    没用美包子，就感觉慢吞吞的有些任务，用的还多

  • 神经刀 07-11 19:48
    8楼

    要是上下文能提高就好了。

  • 神经刀 07-11 19:48
    9楼

    不过说是豆包有点太贬低了。

  • 匿名函数 07-11 19:49
    10楼



    不太赞同，我昨天让codex 帮我部署，配置一套临时邮箱的服务，从git下载开始，读文档，自动docker部署，服务部署配置， cloudflare配置， 我全程就是提供github地址，生成cloudflare token，分配权限，这个权限还是codex告诉我的，我连搜索引擎都没用一下， 他就自己从头到尾搞定了。我觉得这个水平已经可以了

  • wereiyou 楼主 07-11 19:49
    11楼

    @xiaomaomao888 #7 是的，它现在追求的是独立自主完成任务，不需要太多外部干涉，然后overthinking所有事情，尽量让结果bug free，一个任务可以跑很多很多小时，自己就是engineer。但是我需要的不是工程师，我需要的只是一个工具，像Claude模型那样的。这种一个任务占用很多小时只是单纯降低生产力，毕竟我现在也是按时薪领工资的。

  • mouwen 07-11 19:49
    12楼

    差别那么大嘛

  • kkzzq 07-11 19:49
    13楼

    我也有这个感觉，赞同

  • fgtech 07-11 19:50
    14楼

    你这...我用的体验比5.5好太多了，感觉你是在乱说

  • wereiyou 楼主 07-11 19:50
    15楼

    @神经刀 #8 上下文不提高了。等下个版本5.7或者GPT-6吧，然后他们大发慈悲472k上下文，然后以后某天出个新模型又再次回到272k。

  • 匿名函数 07-11 19:50
    16楼

    @wereiyou #6 Fable 5现在是top1 。 至于opus 4.8就别推荐了，做一下设计文档还行，调理比较清晰，真的动手做任务，我觉得gpt更强 5.5就比opus4.8强

  • 江郎才尽 07-11 19:50
    17楼

    openai完蛋了

  • wereiyou 楼主 07-11 19:51
    18楼

    @神经刀 #9 Luna确实全线不如美国大豆包，而且豆包现在更像是修辞手法了，我单纯觉得GPT-5.6大多数模型都很流口水

  • wereiyou 楼主 07-11 19:51
    19楼

    @匿名函数 #10 是的，可以参考我其中一个回复："是的，它现在追求的是独立自主完成任务，不需要太多外部干涉，然后overthinking所有事情，尽量让结果bug free，一个任务可以跑很多很多小时，自己就是engineer。但是我需要的不是工程师，我需要的只是一个工具，像Claude模型那样的。这种一个任务占用很多小时只是单纯降低生产力，毕竟我现在也是按时薪领工资的。"

  • wereiyou 楼主 07-11 19:54
    20楼

    @mouwen #12 相比GPT-5.5缩小了差距，但是不可否认openai目前在programming这个领域上落后了不少。

  • wereiyou 楼主 07-11 19:54
    21楼

    @fgtech #14 因人而异，毕竟我是单axis分析的，如果你本身需要高度自动化，可能opani还更适合你的workflow

  • KEVI 07-11 19:54
    22楼

    我感觉表述太虚了，能举例子实证吗？

  • shalltear 07-11 19:55
    23楼

    你的实测在哪里。。。5.6执行上还是可以的

  • 匿名函数 07-11 19:55
    24楼

    @wereiyou #19 嗯，其实从你的使用场景来说你说的没问题。但是，GPT是 AI呀，AI就是要自己会思考，你给个任务他去完成，这不合理吗？ 你只需要工具你就不应该用AI

  • wereiyou 楼主 07-11 19:56
    25楼

    @KEVI #22 在quantification上面我已经举的很清楚了

  • wereiyou 楼主 07-11 19:57
    26楼

    @匿名函数 #24 AI是一个很统称的名词，你生活中甚至有更多更narrow的AI呢。

  • susshin 07-11 19:57
    27楼

    BD

  • wereiyou 楼主 07-11 19:58
    28楼

    @shalltear #23 execution != productivity

  • 匿名函数 07-11 20:00
    29楼

    @wereiyou #26 抬杠就没啥意思了， 从文字将你说的没错。但是，GPT是你说的这种"你生活中甚至有更多更narrow的AI呢" 吗？ 完全不考虑实际情况了？ 我觉得还是就此打住吧。

  • ida 07-11 20:02
    30楼

    你贴的图好歹给个来源吧，看看是啥野鸡榜

  • Godaddy 07-11 20:02
    31楼

    我觉得网页版的5.6比5.5还是强一些

  • wereiyou 楼主 07-11 20:04
    32楼

    忘记提了，如上图片摘录于Senior SWE Bench, 测试任务源自各类代码仓库（涵盖从基础库到多服务应用）中的 Pull Request (PR)，这些 PR 均由在各自仓库中拥有数百次提交记录的工程师编写。

  • wereiyou 楼主 07-11 20:05
    33楼

    @ida #30 updated

  • wereiyou 楼主 07-11 20:06
    34楼

    @Godaddy #31 网页版我没有测试了，基本测的是官方API和Codex逆向出来的API

  • wereiyou 楼主 07-11 20:06
    35楼

    @匿名函数 #29 GPT更偏向于General，我的意思是对于不同目标群体，有更适用的AI类型

  • nearwinon 07-11 20:10
    36楼

    比5.5强太多了

  • wereiyou 楼主 07-11 20:12
    37楼

    @匿名函数 #10 我猜测这个榜单来自于：artificialanalysis.ai吧，我的评测基本是从Sr. SWE角度出发的，我相信从Junior或者其他用途方面来参考可能结果是不同的。

  • wereiyou 楼主 07-11 20:13
    38楼

    @nearwinon #36 5.5 272k上下文，更不堪

  • ida 07-11 20:16
    39楼

    @wereiyou #33 allow_internet=true 没绷住，直接把网上答案喂到嘴里好了，此外评判里面加入llm也挺科学的🤣

  • KEVI 07-11 20:17
    40楼

    @wereiyou #25 你只是列举了 test cases 和 benchmark 榜单，没有数据的 quantification 和最基本的证明材料，这太模糊了


    这个模型很适合本身不懂编程的人进行vibe voding，而且相比上个模型出错率，完成率，attention（needle in a haystack测试），subagent运用均有提升，但是本身模型智商没有太大变化。也就是说如果你本身是一个senior的程序员，这个模型不会对你提升太多，而且可能还会有生产力下降。


    对比均有提升，但智商没变。这句话就不符合逻辑，你这要表达智商没变，前面应该表述是为什么智商没变，然后得出结论。然后后面智商没变，得出 se 会出现生产力下降，这个推导逻辑就更模糊了

  • wereiyou 楼主 07-11 20:18
    41楼

    @ida #39 显然GPT-5.6更有作弊倾向呢，这感觉是对gpt-5.6更有优势的environment吧？ source: https://metr.org/blog/2026-06-26-gpt-5-6-sol/

  • ida 07-11 20:20
    42楼

    @wereiyou #41 是的，GPT同学考试中抄袭水平更厉害，我抄的少，所以我更厉害

  • wereiyou 楼主 07-11 20:27
    43楼

    @KEVI #40 你搞混了agent outcome和base agent capability。我上面提的completion/error/attention/subagent均来自于更长的rollout，retry，tool use和agent policy，并不是等budget下的核心reasoning，复杂代码理解和debug的同幅度代际提升。benchmark只是旁证，并不是直接quantification

  • wereiyou 楼主 07-11 20:33
    44楼

    @ida #42 联网的benchmark看的是模型，检索，agent policy综合水平，况且gpt-5.6在这方面有天然优势（作弊倾向），但是实际测试下来也还是不如A/系列模型，结果显而易见

  • ida 07-11 20:40
    45楼

    @wereiyou #44 你测试流程搞清楚没，任务基于真实代码库中的真实PR，太考验检索能力了，生怕AI搜不到

  • A-胖胖1005 07-11 20:42
    46楼

    我感觉还好吧，之前5.5给我的感觉就是一直就缝缝补补的，这5.6sol上来就搞定了……

  • wereiyou 楼主 07-11 20:43
    47楼

    @ida #45 所以就看作弊倾向了

  • wereiyou 楼主 07-11 20:45
    48楼

    @A-胖胖1005 #46 sol刚发布确实bug挺少的，毕竟内部测试了很久

  • KEVI 07-11 20:45
    49楼

    @wereiyou #43 你根本没有所谓的数据量化，你只是搜集了一些你想要的测试结果来判断，GPT 领先结果全被你忽视，而且根本无法让人复现你的所谓结论，漏洞还很多，我不认为这个内容有任何价值

  • sandlong 07-11 20:46
    50楼

    我记得rumor说gpt-5.5/5.6是一个3-4T的模型，5.5本来就已经是新的pretraining代号叫spud，但很明显mythos横空出世搞的openai措手不及，如果传言没错，mythos = 10T，那gpt-6也必须来个10T甚至更大的新pretraining才行，mythos算是2月的模型（内部使用），目前来看anthropic领先openai至少4-5个月。当然要说差异化竞争比如说性价比/token efficiency那5.5/5.6做的的确很好

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐