[Kimi K3 测评] 我是一直吹国模的,这次我要泼冷水

坐忘 2026-07-17 14:29 1

关于Harness


Kimi的Harness有大问题,完全发挥不出来K3的水平,kimi-cli / kimi work 表现和耗时完全一致,不及Claude Code / ZCode。


照着抄还不会吗,咋还影响了模型表现?非要自研的话,那cc/opencode/grok build走过的路,你都要走。


关于配额


我用的是Moderato套餐,测试消耗5小时配额如下



  • kimi-cli: 5%

  • kimi work: 5%

  • Zcode (起了subagent): 32%

  • Claude Code: 10%


总之,K3很贵。


顺手提一句Grok 4.5


没啥说的,夯。无论在Cursor还是Grok Build里,都非常稳定,而且全部说人话,没有错别字。


快。想看思考过程根本不可能,stream像窜稀一样。


Grok Build值得尝试,视觉和手感是全新的体验,TUI非常有品味。


其实并不便宜。现在感觉便宜是Cursor有4倍额度优惠,Grok有free试用。等恢复原价Cursor Pro就没法用了。


以下是测试结果(后端)




  1. K3 Max (kimi-cli / kimi work) 同 opus 4.6。发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。Kimi 的 harness 有大问题。




  2. K3 Max (Claude Code / ZCode) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。CC2分7秒,非常快。ZCode开了子代理,代码库全面扫描,9分56秒。




  3. Grok 4.5 High (Cursor Max / Grok Build) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。不到2分钟,最快的,这还没开fast模式。








从3月开始的测试记录:


  1. minimax 2.7: 未发现问题。提示到具体代码行,仍然不承认有问题。




  2. mimo-v2-pro: 怀疑到具体行数,这个位置是对的,但最终判定不是bug。




  3. glm 5: 发现并解决问题,但只从表面上解决了。




  4. claude 4.6 opus: 发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。




  5. GPT 5.4 xhigh: 发现了用户都没想到的深层问题,自动修改,一次改对。




  6. kimi-2.5:未发现问题。然后提示代码行号,态度转变发现并解决表面问题。同时发现深层问题,但改错了。(速度很慢,比GTP还慢)




  7. Gemini 3.1 pro preview(Copilot): 同glm 5。(速度快,比其他快10倍)




  8. claude 4.6 Sonnet: 发现并解决表面问题。发现深层问题,但改错了。和kimi-2.5错的一样。




  9. glm 5.1: 同claude 4.6 Sonnet。




  10. doubao-seed-2.0-code: 同kimi-2.5




  11. qwen3.6-plus preview free: 同glm 5




  12. stepfun/step-3.5-flash^-^ 同glm 5.1。




  13. Gemini 3.1 pro (Antigravity): 发现了用户都没想到的深层问题,自动修改,一次改对。深层次问题用最少的代码修复,比GPT 5.4灵性。




  14. kimi-k2.6: 同claude 4.6 opus。




  15. GPT 5.5 xhigh: 1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。




  16. deepseek v4 pro (stepFun路由,思考强度未知):同claude 4.6 opus,能提示潜在问题,也分析的透彻。太慢了11分钟,26个请求,所有测试里最慢的。




  17. claude 4.7 opus max: 同claude 4.6 opus,对于潜在问题没有自动处理,提出3个选项,第一个选项是Gemini 3.1 pro (Antigravity)那个改动最少,最灵性的。耗时2分钟,15个请求。




  18. mimo-v2.5-pro: 同claude 4.6 opus。耗时2分钟。共测试4次,有2次没检查出问题,不稳定。




  19. 新增Gemini 3.5 Flash (High) (Antigravity 2.1): 未发现问题。提示到具体代码行,只从表面上解决了。速度非常快,42秒。




  20. MiniMax M3 Free: 1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。表现大于GPT 5.4 xhigh。




使用的是opencode免费版,耗时7m51s。看思考过程,该想到的都想到了,不该读的文件也读了,行为和deepseek v4有点像。如果使用token plan和MiniMax code,也许速度会快点。




  1. Qwen 3.7 Max: Qoder IDE,开启Spec驱动。Max解决了表面问题。第二层深度问题提供三个方案,最好的方案和GPT 5.4相同,这点不及Opus 4.7,GPT 5.5合Gemini 3.1。第三层问题,也就是公共库的bug,提供两个方案改或不改,但如果选了不改,却没有本地规避,不及GTP 5.5。是第二个发现第三层bug的老师。




  2. Qwen 3.7 Plus: Qoder IDE,开启Spec驱动。同claude 4.6 Sonnet。




  3. DeepSeek V4 Pro: Qoder IDE,开启Spec驱动。解决表面问题。第二层改错了。竟然发现第三层引用的库的bug,没有改动库,本地业务代码优雅规避,这点同GPT 5.5,也是第三个发现三层bug的老师。但第二层改错了。




  4. grok build 0.1: 未发现问题。提示后,只解决了表面问题(不如kimi k2.5)。同Gemini 3.5 Flash (High),但不如它快。




  5. composer 2.5: 同claude 4.6 Sonnet(发现并解决表面问题。发现深层问题,但改错了),错误相同。这一点表现不如kimi k2.6(发现深层问题,没有自动修改,能提示用户需要手动修改。)




  6. MAI-Code-1-Flash: 未发现问题。错误的修改了两处不是bug的代码,不想提醒它再试一次了,和MiniMax 2.7坐一桌吧




  7. kimi-k2.7-code: 同 claude 4.6 opus(发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。)




  8. GLM-5.2 Thinking (ZCode 3.0): 96分。1. 解决表面问题。2. 解决深层问题。3. 发现引用的库的bug,没有改动库,没改本地代码规避库的bug。第四个发现三层bug的老师。中间改错了一次,错误和glm-5.1相同,但自己马上意识到改错,自动回滚了。耗时17分18秒。非常慢,不知道是不是下午的问题,中间还跳出一次人机认证。所有模型中最慢的,打破deepseek 11分钟的记录。评分和Qwen 3.7 Max一样,96分,但太慢了,排它后面吧,给Qwen升到97分。




  9. Claude Opus 4.8 Max (Cursor Max Mode): 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。),但gpt-5.5只用了2分多钟。第5个发现三层bug的老师。Cursor竟然没有计时功能,估计4分钟以上吧。




  10. K3 Max (kimi-cli / kimi work) 同 opus 4.6。发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。Kimi 的 harness 有问题。




  11. K3 Max (Claude Code / ZCode) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。CC2分7秒,非常快。ZCode开了子代理,代码库全面扫描,9分56秒。




  12. Grok 4.5 High (Cursor Max / Grok Build) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。不到2分钟,最快的,这还没开fast模式。




最新回复 (19)
  • Yuk 07-17 14:31
    1

    grok这么强么?士别三日刮目相看啊?差不多A社什么水平?

  • 云水归山 07-17 14:35
    2

    比opus4.6差一点点,但是快很多又便宜

  • Yuk 07-17 14:36
    3

    准备并入子代理试试。最近都是opus 4.8干活,5.6 review,相当于小任务可以让grok干了。

  • qianniao 07-17 14:37
    4

    不是说有ops 4.7水平吗,现在使用发现基本编码问题都能结局

  • Hifumi Mizuhara 07-17 14:39
    5

    等恢复原价



    恢复原价只是变为1/2吧?auto双倍也要砍掉吗?

  • doilmk 07-17 14:40
    6

    也就是k3水平确实是够了。话说这个不同的harness论坛里有测吗,我用claude code比较多感觉也够用。

  • edwardrio 07-17 14:41
    7

    我订阅了199的,但是目前没有动力去用了。。。

  • 卡卡罗特 07-17 14:42
    8

    Kimi的Harness有大问题,完全发挥不出来K3的水平





    因为是用k3写的 ^-^

  • 金木研 07-17 14:44
    9

    哈哈哈哈,你知道我在我这里,grok用来干什么吗?我都跟他聊我今天想看什么类型的影片,他会告诉我F号,真的超级棒,Grok就是牛

  • moShang 07-17 14:45
    10

    Grok4.5那么强吗?对比GPT5.6 sol high怎样?

  • EternityのAi 07-17 14:46
    11

    感觉还是grok强啊,又快又便宜,老马是真牛

  • wjy 07-17 14:46
    12

    这么看kimi3 max还是很强的,没有吹牛

  • Ririna 07-17 14:47
    13

    用grok就好了,无论性能/价格或性能/时间都是最高的

  • cdy1145 07-17 14:49
    14

    感觉K3还不如GLM5.2好使。

    还是Grok便宜

  • mi tu 07-17 14:50
    15

    kimicode类似mimocode都是vibecoding的好像,之前还看到采用了pi的tui

  • fengchris 07-17 14:50
    16

    这说明模型没问题 差距在harness

  • dtemiemie 07-17 14:52
    17

    其实我感觉前面看起来还挺中肯,就是一看到测评的表面问题 深层问题我就知道要看一下 id

  • stardustdragona 07-17 14:52
    18

    所以模型性能的确有实力,但编程智能体还有待追赶吗

  • 方生无归 07-17 14:54
    19

    聪明的模型应该用 Pi Coding Agent


    花费更少,效果更好

* 帖子来源Linux.do
返回