GPT5.6 SOL 也就那么回事

fbu11 2026-07-11 10:44 1

试了新的 5.6 的 SOL 发现也就呢样,做不到的还是做不到,就是 codex 看上去比之前花哨了点,整体上还是不如 Fable 5,只能期待下后续可能的 GPT 6 ,ai 的这些小版本更新没什么大的进步,只能等大版本了

最新回复 (45)
  • hrjlhy 07-11 10:49
    1
    你自己做个比 GPT 屌的模型呗
  • NoCash 07-11 10:52
    2
    @hrjlhy #1 ?
  • 1874w 07-11 10:54
    3
    经典踩一捧一。
  • fbu11 楼主 07-11 11:00
    4
    @hrjlhy 6
  • testsb 07-11 11:01
    5
    Area 排名(个人认为最接近自己使用感受的排名)刚出来,5.6 xHigh 确实不如 Fable 5 。

  • testsb 07-11 11:02
    6
    @testsb https://arena.ai/leaderboard/text/overall
  • fbu11 楼主 07-11 11:02
    7
    @1874w 只是根据实际体验做了对比
  • codingBug 07-11 11:53
    8
    难怪 5.6 要一拖再拖
  • kongkx 07-11 11:56
    9
    个人感觉 sol high 不行,还贼耗 token
  • soulflysimple123 07-11 12:06
    10
    https://artificialanalysis.ai/

    代码能力还是提升的,相对 gpt5.5 对业务的细节考虑更充分了,但架构设计能力不如 fable5,这个等 gpt6 新底座
  • lscho 07-11 12:14
    11
    模型能力是多边形的,一个人的使用场景根本无法覆盖所有场景,所以根据自己的体验下结论就很尬。

    就我个人而言,GPT5.6 的多模态和生图能力是超过 fable 的。。做游戏的素材生成,设计稿还原提升很大。

    当然写代码方面相比 5.5 提升很小
  • yooomu 07-11 12:29
    12
    指令遵循反而退步了,主动性太高,很容易做出意外的操作。而且真的太慢了,梦回 gpt 5.2 。开 fast 好点,但是额度禁不起烧
  • hackpro 07-11 15:03
    13
    @testsb Opus 4.6 简直王中王 API 被下架了😭
  • hero0earth 07-11 16:42
    14
    这东西就是个弱智,跑了 2 天,我的 100 多个 case 一个都没给我交付,我都不知道他在搞什么。明明一个 case 一个 case 的做,老早就做完了,他倒好,定义这测试那,看着是在做事,昨天一天烧了我 20 亿 token 。我今天等不及了,问他现在交付了几个 case ,好家伙,0/160
  • 409164 07-11 16:45
    15
    目前最好用的 ai
  • canyue7897 07-11 18:30
    16
    @hero0earth 同感,不知道这货是干啥,每次思考时间都很久。无奈,开了 5.5 继续蹬。慢的让人发指了。现在感觉逼着开多个了,写个提示词,下次执行完估计得一两个小时了。
  • buru 07-11 18:30
    17
    体感就是慢,是我开思考太高档的原因吗
  • FlashEcho 07-11 18:31
    18
    @testsb #5 Arena 更是最野榜的野榜,完全靠用户的问题打分评价,都没有专业人员设计过确定的题目和确定的输入输出。尤其是 code 的场景,更是完全不贴用户的使用体验。要么是不能很好地考察模型的 agent 能力,而且它的场景基本上都是用户从零开始构建一个工程,和在已经现有的代码库上进行操作完全不同
  • dingawm 07-11 18:42
    19
    @FlashEcho #18 Muse Spark 和 Gemini 3 Pro 在 GPT 5.5 和 Opus 4.8 上面就知道有多野了🤣
  • xing7673 07-11 19:29
    20
    @testsb #5 gemini pro 能到前排的 接近你使用感受?你只是想找一个 claude 最前的榜单吧
  • willxiang 07-11 19:36
    21
    @testsb #6
    这个榜里 gemini 排 5.5 前边简直就是搞笑榜了,用过的心里都有数,我就不多说了
  • testsb 07-11 20:14
    22
    @xing7673 @willxiang

    https://arena.ai/leaderboard/text/overall 这个是综合能力,就像 #11 楼的朋友说的:

    "模型能力是多边形的,一个人的使用场景根本无法覆盖所有场景,所以根据自己的体验下结论就很尬"

    你们可能更关注 coding ,得看 https://arena.ai/leaderboard/text/coding
  • DiKaErJi 07-11 20:18
    23
    额度消耗的太快了,我一个小任务都做不完就没了
  • testsb 07-11 20:27
    24
    @FlashEcho 榜单评测方法有两面性,我觉得各个榜单有各自的优劣。

    Arena 靠用户投票,基本就是大多数人的体感了,因为每个人使用场景不同,所以这种方式优势是测试集多样,相反缺点也是测试集不固定,横向直接比较说服力低,这也是你吐槽的点吧。

    而做特定测试集的那些榜单,测试集固定结果清晰,很方便模型的直接横向比较,这是优点,但也不是完美的,因为模型多迭代几代很容易把某些测试变成考卷考试,做针对性优化。

    这次 GPT 5.6 据说就针对某些榜单做过针对优化,而且还针对性的改了某些榜单的测试基准。相当于不仅考卷,还自己改了考题。
  • txydhr 07-11 20:39
    25
    @dingawm 你忘了 ai 的通用问答场景。claude 系天天抬杠,很多时候给出的答案根本不可用
  • eventlooped 07-11 21:03
    26
    深度使用一天,fable5 还是明显更强
  • hd10180 07-11 21:51
    27
    @hero0earth 太赞同了
  • x4gz 07-11 21:55
    28
    高级别很容易就思考过度 然后做一些更复杂的逻辑 结果 token 花了 任务没完成😅
  • aireason 07-11 22:51
    29
    有些任务做很久出不了结果,但是如果是一个比较容易收敛的任务,质量很高。

    所以关键就在于,它经常无法自己收敛,有点像数学里的级数或极限,得学会让他自己收敛,避免过度思考。
  • witcherhope 07-11 22:55
    30
    综合能力用应该是最屌的
  • azraeljack 07-11 23:16
    31
    sol 实在是太慢了,开 fast 都很慢,有种早期 GPT 5 xhigh 的感觉。而且经常会过度思考。能力是在线的,但是总体来说体感确实不如 fable 。
  • tarikzhang 07-11 23:46
    32
    @canyue7897 一样的体感,以前 5.5 几分钟完成的事情,现在 5.6 要半小时甚至一小时,token 消耗还特别大,不过发现 sol 的 high 指定的方案确实比 5.5 会完善一些。现在打算 5.6 写方案,5.5 写代码
  • isbase 07-12 01:16
    33
    两者深度用下来,codex 桌面 app 相比 claude code 最大的优势在于流畅的 computer use / chrome control 能力。

    claude code 自带的这方面能力就很捉急了。
  • maolon 07-12 04:01
    34
    不如 fable5 过分了点吧,至少在我这 5.6 sol 揪出来不少 fable5 的问题,特别是数据分析建模方面,fable5 的问题不少
  • jckbt 07-12 08:30
    35
    @hrjlhy 典型的冰箱回答:你觉得这个冰箱制冷不好你就自己制冷呗
  • river010 07-12 08:38
    36
    @maolon 同感,之前是让 5.5 干重活,fable5 给指导,现在 5.6 经常指出 fable5 没有发现的问题,并给出合适的解决方案。相反,fable5 已经给不出什么指导了。
  • cheng6563 07-12 09:34
    37
    感觉就是不如降智前的 5.5
  • lurenjiauser 07-12 10:41
    38
    比降智前的 5.5 强太很多,但是比不降智的 5.5 ,说实话,没有感觉到什么提升。
  • xing7673 07-12 13:25
    39
    @testsb #22 coding 榜也是一坨,确实野榜 kimi2.6 比 glm-5.2 高,gemini 也是在前排
  • testsb 07-12 13:41
    40
    @xing7673 它的 coding 其实是 Text 大目录的子项,具体是写函数或者小功能,比如写个网页之类的。

    GLM 高的在 Agent 排名这里: https://arena.ai/leaderboard/agent

    Agent 排名综合了 prompt 理解、任务规划、调度执行之类的综合工作。
  • 409164 07-12 13:58
    41
    感觉本站是真没帖子了,这个帖子反复出现在首页好几天了(无恶意
  • xing7673 07-12 14:13
    42
    @testsb #40 这个合理一些,因为现在主要 coding 输出都是通过 agent 了,几乎没人使用 raw 的 code 文本了
  • cskeleton 07-12 14:16
    43
    @testsb #23 Arena 主要是聊天的,one shot ,所以它能测的东西也是很片面的。
  • testsb 07-12 15:30
    44
    @cskeleton #43

    是,聊天只能囊括内容创作、内容质量、解决方案、论题研究等这些偏单点/定向探索能力。

    但当前模型最广泛的应用就是工程化、工作流自动化,比如现在最多人关注的编程能力。所以 Arena 最近才补了个 Agent 排名以补短板,确实比其他固定测试集的排名晚了很多。
  • fbu11 楼主 07-12 18:41
    45
    @409164 #41 不至于哈哈哈,我是“2026-07-11 10:44:02 +08:00”创建的帖子,gpt 发完新版本后太多人发帖子了吧哈哈哈,全是这个话题
* 帖子来源V2EX
返回