Kimi-K3 > GPT-5.6 Sol OpenAI终于败给了国产模型

wereiyou 2026-07-17 04:14 1

测试的差不多了,整体Kimi-K3表现下来不如刚发布的GPT-5.6-Sol xhigh或者max,差不多和high (reasoning effort) 和速度差不多。但是今天严谨起见重复测试了GPT-5.6 Sol的水平(因为看推的都知道今非昔比),速度与算力(base model reasoning)整体差于发布水平, 导致在运行了相同的benchmarks之后,当前codex版本gpt-5.6 sol速度和准确性均低于中国模型Kimi-K3。


“降速降智残血上下文”的gpt-5.6 sol在max,xhigh和high思考等级的情况下在整体完成速度上均输给了kimi-K3。其中在接近一半的PR任务中,上下文压缩了不下5次,而相比之下Kimi-K3在拥有着绝对先天优势的上下文情况下,最多只压缩了一次。整体PR的后期接受率基本持平,我个人审了下代码,除了风格以外区别并不是特别大。(目前测试不包括前端)


上下文:指context window,gpt-5.6 sol官api拥有1m,但是codex里阉割到了372k,(前几天openai说要继续阉割到272k)与此同时kimo-k3在我测试下700元订阅已经拥有了1050k满血上下文(接近gpt-5.6的三倍)


目前整体AI表现可以总结为:

Anthropic > Kimi > OpenAI


当然Kimi在我测试下也有很多数据渗出fable的嫌疑(exfiltration),不过目前我还是非常看好本土模型的发展速度以及在编程上的实力的。

最新回复 (55)
  • 狂吃糖醋里脊 07-17 04:20
    1

    ^-^

  • wereiyou 楼主 07-17 04:20
    2

    测试均使用英文提示词,而且因为时间限制,这次并没有测试“图片”提示词。

  • 摸鱼大队长 07-17 04:21
    3

    你确定他能排第二?现在的OpenAI 5.6模型呀?不是5.4

  • wereiyou 楼主 07-17 04:23
    4

    @摸鱼大队长 #3 5.4 1M codex上下文,5.6 sol是372k的上下文

  • Dreyfus 07-17 04:24
    5

    @摸鱼大队长 #3 https://artificialanalysis.ai/models#intelligence

    看测评确实强

  • wereiyou 楼主 07-17 04:24
    6

    @摸鱼大队长 #3 最起码今天openai的旗舰模型表现水平是肯定低于国产模型今天刚发布的时候的

  • 摸鱼大队长 07-17 04:24
    7

    你高端模型打低端模型,没必要。

  • wereiyou 楼主 07-17 04:25
    8

    我控制不了openai天天重置,取消5h,然后再给自己模型降智,然后再砍上下文,我只负责终端测试

  • 摸鱼大队长 07-17 04:25
    9

    @Dreyfus #5 我确实没用过kimi,我看别人都在说他挺强的。不知道实际使用起来会怎么样

  • 摸鱼大队长 07-17 04:27
    10

    @wereiyou #8 还好吧。现在你没感觉最近一天一更新吗?我觉得是好事

  • wereiyou 楼主 07-17 04:27
    11

    @摸鱼大队长 #7 测试中用的是Codex里openai最高端的GPT-5.6-Sol Max/xhigh/high

  • 下雨-琳-铃-铃 07-17 04:28
    12

    kimi也是发力了,期待一下,先买个最低套餐试试。

  • Dreyfus 07-17 04:28
    13

    @摸鱼大队长 #7 其实kimi也不算低端了,价格和模型大小在开源模型创新高了(所以这是一个闭源一个开源的两个高端模型的互殴bushi)

  • 摸鱼大队长 07-17 04:31
    14

    @Dreyfus #13 反正我知道DeepSeek 解决bug的能力,还没他制造bug能力多。我是真服了

  • Dreyfus 07-17 04:33
    15

    @摸鱼大队长 #14 只能说对得起DS这个价格了,只有kimi的十几分之一的价格不能要求太多(kimi价格奔着claude去了)

  • 摸鱼大队长 07-17 04:34
    16

    @Dreyfus #15 这倒是

  • moooyo 07-17 04:34
    17

    哥 kimi3是3t的模型啊。。。

  • 轩楝 07-17 04:35
    18

    这kimi k3不光慢、套餐还分个三六九等……量也不大

  • moooyo 07-17 04:36
    19

    kimi k3的标价超过sonnet低于opus,如果是实价(批采无折扣),那其实挺贵了。 OA的api付费都是能打折的。

  • Dreyfus 07-17 04:38
    20

    @moooyo #17 2.8T,确实是开源模型中最大的

  • bbj 07-17 04:40
    21

    虽然几个月前服务器资料被kimi删了,被你说的,又想体验了

  • Dreyfus 07-17 04:41
    22

    @moooyo #19



    如果从一个任务的执行成本来看,比Claude Sonnet 5 Opus 4.8便宜,和GPT 5.6 Sol Max差不多

  • tohsakarat 07-17 04:44
    23

    体感就算k3审美强文笔好,但是它实在太慢了,和gpt的实用性依然不在同一等级

  • gamecowww 07-17 04:44
    24

    这模型能涩涩或者逆向吗

  • moooyo 07-17 04:49
    25

    @Dreyfus #22 是,我的意思其实是,没想象中的那么便宜,因为官方的标价一般水分都挺大,实价小散谁也不知道。 大概看起来就是opus/sol 水平。


    模型一寸长一寸强,没有黑魔法。

  • wereiyou 楼主 07-17 04:57
    26

    @bbj #21 hhhh 这也太惨了,感觉harness也有责任

  • wereiyou 楼主 07-17 04:58
    27

    我在想什么时候Gemini能上桌吃饭

  • qoney 07-17 05:00
    28

    @wereiyou #0 算在后端和维护以后代码库,优化整体代码库上,好像没啥人测试,都是在测试前端

  • qoney 07-17 05:03
    29

    @wereiyou #0 上下文大(想让上下文大,堆内存就行了),对写代码不一定是好事,但对于一些特定任务比较友好。上下文越大,注意力肯定是越不集中的,费用也是非常巨大的,在修bug和维护代码库上,256k搭配自动压缩是性价比最高的

  • Dreyfus 07-17 05:19
    30

    @wereiyou #27 gemini新模型很久没听到消息了

  • Dreyfus 07-17 05:20
    31

    @qoney #28 后端和维护代码库这个不好直观对比,前端要求做的好不好是可以看出来的,测试代码能力基本都是看Web Dev

  • avert6787 07-17 06:13
    32

    好事啊,虽然有些争议

  • ZdNZuOJsUPa 07-17 06:15
    33

    要钱吗?如果免费就用了

  • wereiyou 楼主 07-17 07:12
    34

    @ZdNZuOJsUPa #33 已经有中转站了

  • Emmmc 07-17 07:13
    35

    @wereiyou #4 m3这么强的吗

  • wereiyou 楼主 07-17 07:14
    36

    @Dreyfus #31 前端感觉更看个人审美一些,加上我本身是主要做后端的,对前端涉猎实在不多,所以就没做关于前端代码的QA测试了

  • wereiyou 楼主 07-17 07:15
    37

    @Emmmc #35 hhh 指的是k3吧,目前没降智之前肯定是sol和mythos级别的

  • wereiyou 楼主 07-17 07:16
    38

    @gamecowww #24 可以试试呢,这部分我具体还没测,毕竟是数据渗出的claude,可能也有限制?

  • czspgreat 07-17 07:17
    39

    期待一手吧,现阶段的话,GPT 还是太便宜了。公司使用合规另说

  • wereiyou 楼主 07-17 07:17
    40

    @czspgreat #39 codex确实价格不高,不过5.6 sol真的太慢了,例如我们公司就是因为sol太慢,直接不考虑了

  • wereiyou 楼主 07-17 07:21
    41

    @摸鱼大队长 #14 我完全不敢测deepseek,GLM是我能接受的borderline

  • 摸鱼大队长 07-17 07:22
    42

    @wereiyou #41 发布于2026/7/16 16:21:35

    @摸鱼大队长 #14 我完全不敢测deepseek,GLM是我能接受的borderline


    😂😂

  • wereiyou 楼主 07-17 07:24
    43

    @qoney #29 改一些比较庞大的代码库,特别是technical debt很多的那种(测试中包括了很多这种PR),272k,372k轻易就会跑着跑着压缩上下文,一压缩,时间浪费掉了很多,而且还需要重新read很多代码,再把压缩掉的补回来。这次测试为什么sol输给了kimi就是因为速度慢太多了。

  • wereiyou 楼主 07-17 07:25
    44

    就算是用了插件,例如magic context,codex也无法在速度/效率上和kimi抗衡

  • wereiyou 楼主 07-17 07:26
    45

    企业商业用户有时候更在意rolling/iteration speed,相比于十年磨一剑

  • wereiyou 楼主 07-17 07:28
    46

    @tohsakarat #23 我觉得目前kimi是mythos级别目前最快的了,sol是最慢的,fable站中间

  • wereiyou 楼主 07-17 07:31
    47

    @moooyo #25 我感觉唯一的黑魔法就是违法的数据渗出方式窃取fable的逻辑tracing了

  • mzne 07-17 07:41
    48

    这么贵谁用得起。。。但是sol是真的慢这个没得说,发一次prompt游戏都能打好几把了

  • auok 07-17 08:18
    49

    国模强是好事啊,有竞争价格才能实惠

  • xiluo 07-17 09:36
    50

    sol 感觉确实慢点,希望国产能把价格打下来

  • wereiyou 楼主 07-17 09:38
    51

    @auok #49 国内研发成本低,但是算力成本高,所以比较尴尬,感觉还得硬件跟得上

  • Next 07-17 09:39
    52

    gpt 那个远程上下文还好

  • daolulu 07-17 09:42
    53

    奥迪和澳阔的区别?

  • wereiyou 楼主 07-17 09:56
    54

    @daolulu #53 特斯拉和比亚迪的区别

  • wereiyou 楼主 07-17 09:57
    55

    @Next #52 372k加上rolling compaction确实比272k好很多了

* 帖子来源NodeSeek
返回