claude code 的 harness 真的做的够好吗

美帝码工 2026-07-13 21:15 1

最新最受认可的 DeepSWE 1.1 Benchmark

最新回复 (18)

HeriX 07-13 21:22

1楼

目前来看应该是最好的

而且这里面都还没用o4.8来测试
美帝码工楼主 07-13 21:23

2楼

关键是不同 agent 的对比；gpt 也没有拿 5.6 对比啊
zhangsan_a 07-13 21:23

3楼

我还挺喜欢使用claude desktop的，奈何cluade太贵了，只能用用codex 了
ANON 07-13 21:25

4楼

所以是确实不错啊, 和cursor也互有来回 – 后者的harness可不是吃素的
美帝码工楼主 07-13 21:26

5楼

自家的工具连两个第三方的解决方案都打不过怎么行呢
HeriX 07-13 21:26

6楼

那至少要模型一样才能对比吧

而且后两项测试cc都是第一名

第二项测试cc是第二名，高于同样模型的cursor和opencode

只有第一项测试倒数第一

但是gpt向来跑分高
美帝码工楼主 07-13 21:27

7楼

其他的都只是参考，最重要的就是第一个测试啊，要快要便宜，不如用国模。

带上GPT,目的是说明 CODEX > CURSOR > CLAUDE
HeriX 07-13 21:31

8楼

一个单一榜单跑分说明不了什么

而且gpt5.5向来在各个榜单上跑分都是很高的

但是实际效果只能说和o4.8打平，非降智情况下
美帝码工楼主 07-13 21:33

9楼

高难度任务 gpt 远比 claude 好。claude 只是擅长说人话/写UI，但是bug一堆
wanhua 07-13 21:34

10楼

我个人感觉比opencode好。opencode轮次少，一会就做完了，不够细致

而且claudecode中，plan后你说可以做了，会自动切编辑模式，opencode要手动
Caphhh 07-13 21:38

11楼

目前来看应该是最好的

目前来看显然是最差的，你好歹点进图片看看吧

也别说什么拿旧模型来测，当时最新的模型就是 4.7 和 5.5

也别说后面的 token usage per task 和花费耗时，这些都不重要

claude code 对自家模型的优化远远不如 opencode这一点怎么不承认呢

补一个相同模型的测试，别扯 gpt 了
ANON 07-13 21:41

12楼

速度和成本当然是非常重要的, 尤其是现在各大厂商越来越重视速度. 另外论坛中佬友们的表现已经为速度投上一票了 – 这几天的Grok 4.5 vs GPT 5.6(以及5.6 max vs high) – 在智力足够的情况下, 跟手是很有必要的.
美帝码工楼主 07-13 21:43

13楼

也有道理，比 opencode/cursor 使用相同模型要快。
还是不懂 07-13 21:43

14楼

cc可能效果一般但是没有遇到过奇奇怪怪的卡死问题，而且可以自定义花里胡哨的状态栏

opencode修了几个月之后其实快了很多但是还是对他内存泄露心有余悸

codex很迷，启动速度飘忽不定堪比莫名其妙重置的周限

pi最近用的更多，不过要修提示词否则sol会写小作文很烦人
ANON 07-13 21:47

15楼

不过我确实没想到opencode有这么高, 可能是我刻板印象了, 还停留在它的屎山和归属争议时期…

另外指标是pass@1, 可能确实也比较吃时间和token消耗, 比如多review一次可能就能把最后的小问题修好.
FirenzeLor 07-13 21:54

16楼

没看懂，后面那三项clude code不是表现得很好的意思吗？token用得少cost低时间也短，不好在哪？第一张图倒是只有一个分，没理解分咋来的
Hkowl 07-13 21:57

17楼

所以其他說他好就好，不好就不好，什麼分都是虛的，自己用過才知道
pan iron 07-13 21:57

18楼

opencode认真的吗???

已经连续用opencode 7个月了. 除了各种小bug, 最大的问题是基本上已经半年+没有新的feat, 只有小修小改, 各种ui调整. pr里各种feat也不合, 主程最近提交也少了, 不知道都在干啥.

可能都去搞zen了, 毕竟这个才是他们赚钱的东西 ^-^