关于Harness
Kimi的Harness有大问题,完全发挥不出来K3的水平,kimi-cli / kimi work 表现和耗时完全一致,不及Claude Code / ZCode。
照着抄还不会吗,咋还影响了模型表现?非要自研的话,那cc/opencode/grok build走过的路,你都要走。
关于配额
我用的是Moderato套餐,测试消耗5小时配额如下
- kimi-cli: 5%
- kimi work: 5%
- Zcode (起了subagent): 32%
- Claude Code: 10%
总之,K3很贵。
顺手提一句Grok 4.5
没啥说的,夯。无论在Cursor还是Grok Build里,都非常稳定,而且全部说人话,没有错别字。
快。想看思考过程根本不可能,stream像窜稀一样。
Grok Build值得尝试,视觉和手感是全新的体验,TUI非常有品味。
其实并不便宜。现在感觉便宜是Cursor有4倍额度优惠,Grok有free试用。等恢复原价Cursor Pro就没法用了。
以下是测试结果(后端)
K3 Max (kimi-cli / kimi work) 同 opus 4.6。发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。Kimi 的 harness 有大问题。
K3 Max (Claude Code / ZCode) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。CC2分7秒,非常快。ZCode开了子代理,代码库全面扫描,9分56秒。
Grok 4.5 High (Cursor Max / Grok Build) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。不到2分钟,最快的,这还没开fast模式。


从3月开始的测试记录:
minimax 2.7: 未发现问题。提示到具体代码行,仍然不承认有问题。
mimo-v2-pro: 怀疑到具体行数,这个位置是对的,但最终判定不是bug。
glm 5: 发现并解决问题,但只从表面上解决了。
claude 4.6 opus: 发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。
GPT 5.4 xhigh: 发现了用户都没想到的深层问题,自动修改,一次改对。
kimi-2.5:未发现问题。然后提示代码行号,态度转变发现并解决表面问题。同时发现深层问题,但改错了。(速度很慢,比GTP还慢)
Gemini 3.1 pro preview(Copilot): 同glm 5。(速度快,比其他快10倍)
claude 4.6 Sonnet: 发现并解决表面问题。发现深层问题,但改错了。和kimi-2.5错的一样。
glm 5.1: 同claude 4.6 Sonnet。
doubao-seed-2.0-code: 同kimi-2.5
qwen3.6-plus preview free: 同glm 5
stepfun/step-3.5-flash^-^ 同glm 5.1。
Gemini 3.1 pro (Antigravity): 发现了用户都没想到的深层问题,自动修改,一次改对。深层次问题用最少的代码修复,比GPT 5.4灵性。
kimi-k2.6: 同claude 4.6 opus。
GPT 5.5 xhigh: 1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。
deepseek v4 pro (stepFun路由,思考强度未知):同claude 4.6 opus,能提示潜在问题,也分析的透彻。太慢了11分钟,26个请求,所有测试里最慢的。
claude 4.7 opus max: 同claude 4.6 opus,对于潜在问题没有自动处理,提出3个选项,第一个选项是Gemini 3.1 pro (Antigravity)那个改动最少,最灵性的。耗时2分钟,15个请求。
mimo-v2.5-pro: 同claude 4.6 opus。耗时2分钟。共测试4次,有2次没检查出问题,不稳定。
新增Gemini 3.5 Flash (High) (Antigravity 2.1): 未发现问题。提示到具体代码行,只从表面上解决了。速度非常快,42秒。
MiniMax M3 Free: 1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。表现大于GPT 5.4 xhigh。
使用的是opencode免费版,耗时7m51s。看思考过程,该想到的都想到了,不该读的文件也读了,行为和deepseek v4有点像。如果使用token plan和MiniMax code,也许速度会快点。
Qwen 3.7 Max: Qoder IDE,开启Spec驱动。Max解决了表面问题。第二层深度问题提供三个方案,最好的方案和GPT 5.4相同,这点不及Opus 4.7,GPT 5.5合Gemini 3.1。第三层问题,也就是公共库的bug,提供两个方案改或不改,但如果选了不改,却没有本地规避,不及GTP 5.5。是第二个发现第三层bug的老师。
Qwen 3.7 Plus: Qoder IDE,开启Spec驱动。同claude 4.6 Sonnet。
DeepSeek V4 Pro: Qoder IDE,开启Spec驱动。解决表面问题。第二层改错了。竟然发现第三层引用的库的bug,没有改动库,本地业务代码优雅规避,这点同GPT 5.5,也是第三个发现三层bug的老师。但第二层改错了。
grok build 0.1: 未发现问题。提示后,只解决了表面问题(不如kimi k2.5)。同Gemini 3.5 Flash (High),但不如它快。
composer 2.5: 同claude 4.6 Sonnet(发现并解决表面问题。发现深层问题,但改错了),错误相同。这一点表现不如kimi k2.6(发现深层问题,没有自动修改,能提示用户需要手动修改。)
MAI-Code-1-Flash: 未发现问题。错误的修改了两处不是bug的代码,不想提醒它再试一次了,和MiniMax 2.7坐一桌吧
kimi-k2.7-code: 同 claude 4.6 opus(发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。)
GLM-5.2 Thinking (ZCode 3.0): 96分。1. 解决表面问题。2. 解决深层问题。3. 发现引用的库的bug,没有改动库,没改本地代码规避库的bug。第四个发现三层bug的老师。中间改错了一次,错误和glm-5.1相同,但自己马上意识到改错,自动回滚了。耗时17分18秒。非常慢,不知道是不是下午的问题,中间还跳出一次人机认证。所有模型中最慢的,打破deepseek 11分钟的记录。评分和Qwen 3.7 Max一样,96分,但太慢了,排它后面吧,给Qwen升到97分。
Claude Opus 4.8 Max (Cursor Max Mode): 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。),但gpt-5.5只用了2分多钟。第5个发现三层bug的老师。Cursor竟然没有计时功能,估计4分钟以上吧。
K3 Max (kimi-cli / kimi work) 同 opus 4.6。发现并解决表面问题。发现深层问题,没有自动修改,能提示用户需要手动修改。Kimi 的 harness 有问题。
K3 Max (Claude Code / ZCode) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。CC2分7秒,非常快。ZCode开了子代理,代码库全面扫描,9分56秒。
Grok 4.5 High (Cursor Max / Grok Build) 100分。同GPT 5.5 xhigh(1. 解决表面问题。2. 解决深层问题,改动代码量比5.4少,比gemini3.1多。3. 发现引用的库的bug,没有改动库,本地业务代码优雅规避。)。不到2分钟,最快的,这还没开fast模式。