【持续更新】私有benchmark - OpenGL游戏渲染BUG修复

hzqst 2026-10-18 17:41 1

前言

本测评是对短的 DeepSeek V4.1 Flash 评测（Unity / C# / 游戏开发方向） - 开发调优 - LINUX DO 的拙劣模仿

当然，最主要的原因是看某个A开头的野榜不爽很久了。sonnet得分比opus还高都来了，要不是我真用过我就信了。

总表我会放在一楼，每个模型的单独结果我会放在回复里。

这个benchmark整完之后，我还会更新其他类似的从真实项目里来的任务当benchmark。

测评项目

一个OpenGL Core Profile 4.4的渲染器 (MetaHookSv/Renderer)，hook进游戏替换掉游戏自己的Legacy OpenGL 1.1 fixed function pipeline。

本测评考验模型对渲染状态的追踪能力和渲染管线的分析能力、以及工具调用的能力。使用rdc-cli/renderdoc抓帧可以大大加快解题速度。

测评环境

Windows 11 28000.3231 已经安装游戏本体、游戏的hook框架（MetaHookSv/MetaHookSv）、rdc-cli、renderdoc、windbg-mcp

已安装最新版cc cli和codex cli，均使用同一份CLAUDE.md/AGENTS.md

使用ACL限制了agent只能访问临时源码目录和游戏目录，并且禁止访问github，不用担心它走歪门邪道上网翻答案。

参赛模型

以下全部是官订/官key，并且经过长期生产环境使用，没有发现掺水降智的问题

gpt-6.1-sol / high / codex

deepseek-flash / high / claude-code

claude-opus-5-5 / high / claude-code

glm-5.3 / high / claude-code

比赛结果

等我跑完

最新回复 (12)

AreSet 10-18 18:25

1楼

已关注！求踢（话说可以加一个Argon的测评吗qaq
KallkaGo 10-18 18:35

2楼
盲猜一手如果是比较隐蔽的那种，偶发、依赖多帧且rdc也难以定位的话,也许 5.5和ds的排名能换一下 ^-^
1. 6.1 sol
2. ds
3. opus 5.5 (考虑到 high的思考程度下会触发雷霆大思考）
4. glm 5.3
Huoyuuu 10-18 18:39

3楼

猜一手opus55 > 6.1sol > glm5.3 > dsv4

也有些刻板印象了hhhh，也期待dsv4有明显突破
hzqst 楼主 10-18 22:48

4楼

gpt-6.1-sol high

2.7M token / 0.6$ / 11分21秒

成功完成修复

图例

第一行是预期结果

第二行是存在BUG的初始状态

第三行是AI修复后的结果

代码变更

这是gpt的修复方法：

我在线上的修复方法：

gpt的修复方可以接受但是不够优雅

不过它倒满足了minimal impact的要求就是了。

session审计

它甚至没有抓帧，光靠瞪眼法在源码里就注意到了可疑点

并且在第94步的时候就找到root cause了

总共只花了161步就完成了，人狠话不多

模型自评
hzqst 楼主 10-19 09:06

5楼

deepseek-v4.1-1017

151M token / 1.86$ / 超时(2h+)

悲报：大肥鱼超时了，2个小时没修完

session审计

2个小时刚好找到root cause，刚开始修复就被打断了。

因为原版的老馋renderdoc跟我抢hook导致rdc没法抓帧，大肥鱼前一个小时一直在左右脑互博和疯狂改着色器+进游戏调试。等下装一个我魔改后的renderdoc，给大肥鱼重赛看看。

代码变更

刚想表扬大肥鱼它就把条件写反了。BUG表现是brushmodel全黑，那么它这里就应该给brushmodel返回false拒掉，而不是给studiomodel always true。这个答案我只能给零分。
hzqst 楼主 10-19 19:25

6楼

大肥鱼二番战，这次给了完整的rdc-cli能力，它也成功跑去抓帧了，但是依旧超时

在第7109秒定位到root cause，此时上下文长度339K：
Xer56 10-19 19:26

7楼

感谢佬的测试贡献
dogdays 10-19 19:40

8楼

肥鱼何时才能北伐gpt啊好想用上肥鱼价格的gpt
kooo13579 10-19 19:45

9楼

可以加sonnet 5.5 max 嗎
hzqst 楼主 10-19 20:37

10楼

opus-5.5 high

13.5M token / $5.56 / 40分钟 / 验收没通过

会话审计

25分钟时定位到root cause，此时上下文长度159K

完成时上下文长度206K

代码变更

在渲染模型的hook handler里先保存状态，再调用原渲染函数，最后恢复，确保g_ForcedFaceFlags状态不会泄漏：

我的评价

它就没有想到画模型可以不走StudioRenderModel吗？

按它这个修法，有多少种画模型的code path，它就要加多少个save restore pair。纯纯的哪里头痛医哪里了。

astra的评价
KallkaGo 10-19 22:55

11楼

^-^ 和我的预期一致 o÷不愧是最强雇佣兵还是太有实力了
hzqst 楼主 10-19 22:55

12楼

glm-5.3 high

87.4M / 26.79$ / 2h （超时）

session审计

直到最后也只找到了事故发生的第一现场，没有定位到root cause，全程一直在左右脑互搏。

2h超时的时候上下文长度249K

代码变更

该模型没有来得及修复代码就已超时

我的评价

拉完了