【模型横评3.0】Grok4.5|Grok4.5fast|composer-2.5|GLM-5.2......

Loveyless 2026-07-09 11:30 1

评测具体规则在此帖子


测试仓库
依旧使用本人的一个闭源的项目,以下是具体架构。
[image]
评测流程
开 work tree 跑两个测试题目,1 题和 2 题之间不会新开上下文窗口。
[image]
测试题目
上次我让 codex 出了一个比较具体的题,虽然没有那么细,但还是给得比较细。这次只给大体意图,让 AI 自己去做。
[image]
[image]
打分流程
单分支评测 = 每个模型自己…


我总结一下评测规则:

出题的仓库,根据我自己的一个闭源项目为基座开始。


1. 题目生成:GPT-5.5 根据自问自答的形式,一共出六道题。

2. 题目筛选:在六道题中,再让它通过自问自答挑出两道题。

3. 任务执行:同时开启 Work Tree,让不同的模型、不同的 Agent 去执行这两道题。

4. 单条评测:最后让 GPT-5.5 对单条 Work Tree 进行单独的评测。

5. 归一化测试:等所有的 Work Tree 都评测完以后,做归一化测试横评。


这次Grok4.5上了,我就想着用Grok build和Cursor都测一下


直接上结论



具体每个分支的简短扣分、加分详细评测结果在此文件。

普通题-r2-r3-current归一化复核-20260709.md.zip (7.7 KB)

最新回复 (3)
  • 耐心等待 07-09 11:36
    1

    支持,希望楼主多做一些测评。 gpt 的话来找我领纯血 pro 的 token。 非常支持。 太棒了。

  • SeeSeaSun 07-09 16:33
    2

    不太直观,结论是啥?跟其他模型的比较也没有

  • ppdx 07-09 16:36
    3

    渠道和agent 应该也是有影响的,包括thinking level是不是也可以给出呀佬。

* 帖子来源Linux.do
返回