由于测试的模型越积越多了,表格会删除一些同厂商的旧模型,你可以在之前的评测帖子里找到它们的成绩。
项目
这是一个 Unity C# 项目,我进行测试的是一份皮肤系统需求案,我已经做了好预制体,而模型需要编写代码。
本轮与上两轮评测的项目和环境都完全一致:
模型来源
- Grok 4.5: Grok Build
- Kimi K3: 火山 Agent Plan
- Claude Opus 5: Claude Code 自行中转
- GPT 5.6 Sol/Luna: Codex 自行中转
- DeepSeek V4 Flash 0731: 官方 API
速度
排名 |
模型 |
时间(分钟) |
备注 |
|---|
1 |
Composer 2.5 |
3 |
|
2 |
Grok 4.20 0309 Reasoning |
3 |
|
3 |
Step-3.5-Flash |
6 |
|
4 |
Mimo V2 Omni |
7 |
|
5 |
Doubao-Seed-2.0-Lite |
7 |
|
6 |
Doubao-Seed-2.0-Pro |
9 |
|
7 |
Doubao-Seed-2.0-Code |
9 |
|
8 |
Qwen3-Coder-Next |
9 |
|
9 |
Claude Sonnet 4.6(high) |
9 |
|
10 |
Qwen3.5-Plus |
9 |
|
11 |
GLM-5 Turbo |
10 |
|
12 |
Minimax M2.7 |
10 |
Highspeed 版本 |
13 |
Qwen3.5-Flash |
10 |
|
14 |
Grok 4.3 |
10 |
|
15 |
Gemini 3 Pro |
11 |
|
16 |
Grok 4.5 |
13 |
|
17 |
Hy3 Preview |
13 |
|
18 |
GPT-5.5(low) |
13 |
|
19 |
Grok Build 0.1 |
14 |
|
20 |
GPT-5.5(medium) |
15 |
|
21 |
Mimo V2 Pro |
15 |
|
22 |
DeepSeek V4 Flash 0731 |
17 |
|
23 |
DeepSeek V4 Flash |
17 |
|
24 |
Qwen3.7-Plus |
17 |
|
25 |
Qwen3.7-Max |
18 |
|
26 |
GPT-5.5(high) |
19 |
|
27 |
Claude-Opus-4.7(Max) |
20 |
|
28 |
GLM-5 |
20 |
|
29 |
DeepSeek V4 Pro |
21 |
|
30 |
Gemini 3 Flash |
22 |
|
31 |
Claude-Fable-5(xhigh) |
23 |
|
32 |
Mimo V2.5 |
24 |
|
33 |
KAT-Coder-Pro V2 |
24 |
|
34 |
Minimax M3 |
25 |
|
35 |
Claude-Opus-4.6(Max) |
26 |
|
36 |
GPT-5.5(xhigh) |
28 |
|
37 |
Gemini 3.1 Pro(high) |
29 |
受 429 请求频率限制影响 |
38 |
Claude-Opus-4.8(Max) |
33 |
|
39 |
Kimi K2.6 |
33 |
|
40 |
Qwen3.5 9B GGUF Q4_K_XL |
35 |
MBP M4 Pro 48GB 本地部署 |
41 |
Qwen3.5 35B A3B GGUF Q4_K_XL |
36 |
MBP M4 Pro 48GB 本地部署 |
42 |
GPT 5.6 Sol |
36 |
|
43 |
Mimo V2.5 Pro |
37 |
|
44 |
Kimi K2.7 Code |
39 |
|
45 |
GLM-5.2 |
45 |
|
46 |
Claude Opus 5 |
55 |
|
47 |
Kimi K3 |
93 |
|
48 |
GPT 5.6 Luna |
95 |
|
令牌数
- Grok 4.5: 未知
- Kimi K3: 15M(¥40)
- Claude Opus 5: 24M
- GPT 5.6 Sol: 未知
- GPT 5.6 Luna: 47M
- DeepSeek V4 Flash 0731: 21M(¥0.94)
代码行数
- Grok 4.5: +1924, -18
- Kimi K3: +1903, -6
- Claude Opus 5: +1943, -8
- GPT 5.6 Sol: +1201, -8
- GPT 5.6 Luna: +1223, -13
- DeepSeek V4 Flash 0731: +2184, -133
完成度
Grok 4.5
审查结论: 完成度非常高,出现两个功能错误问题。
详细
- 中:称号未拥有时只置灰称号节点,建筑预览强制不置灰(
Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:712),不符合“当前展示节点及子节点置灰”的要求。
Kimi K3
审查结论: 完成度非常高,出现两个功能错误问题。
详细
- 未拥有称号只置灰称号节点,没有置灰同时展示的建筑;没有神针资源时建筑还会直接隐藏。见
UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:595、UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:607。
Claude Opus 5
审查结论: 完成度非常高,出现一个细节问题。
详细
- 限时皮肤过期后状态残留:网络层只注册
LIST/USE,删除了线上 VIEW/EXPIRE 链路;列表刷新也不会清除已失效的 _usingSkins,计时器只更新“已过期”文本,因此皮肤仍可能显示使用中并继续计入属性。见 UnityProject/Assets/GameScripts/HotFix/GameLogic/NetMgr/Skin/SkinNetMgr.cs:15、UnityProject/Assets/GameScripts/HotFix/GameLogic/DataMgr/Skin/SkinDataMgr.cs:143、UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:640。
GPT 5.6 Sol
审查结论: 完成度极高,无明显问题。
详细
无问题。
GPT 5.6 Luna
审查结论: 完成度尚可,存在功能未实现及多个细节问题。
详细
- 阻断:皮肤列表和名称为空。 列表背景、图标被直接清空,详情名称也被清空并隐藏品质背景;同时配置层完全未读取
ItemInfo,无法取得名称和品质。见 UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:373、UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:469、UnityProject/Assets/GameScripts/HotFix/GameLogic/CfgMgr/Skin/SkinCfgMgr.cs:13。
- 高:
onlyHas 状态不是按皮肤类型独立保存。 当前只有一个 _onlyOwned,切换页签会沿用上一页签状态。见 UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:75、UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:142。
- 中:属性总览忽略百分比/万分比格式。 所有值均直接显示原始整数;类型 1/3 配置会显示错误。见
UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinAttrUI.cs:119。
- 中:入口解锁控制被注释,称号等级被固定清空。 见
UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfoUI/PlayerInfoUI.cs:106、UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:606。
DeepSeek V4 Flash 0731
审查结论: 完成度较高,但有多个细节问题。
详细
- P1|皮肤类型映射错误:配置使用神针/头像框/气泡/称号
1/2/3/4,协议使用神针/称号/头像框/气泡 0/1/2/3,请求和响应却直接传值。神针会请求成称号,称号发送非法类型 4,启动及使用状态同样错位。UnityProject/Assets/GameScripts/HotFix/GameLogic/NetMgr/Skin/SkinNetMgr.cs:33
- P2|启动数据初始化不完整:
useSkins 只写入使用字典,没有登记为已拥有。列表响应前,正在使用的皮肤会显示锁定、置灰和“去获取”,属性总览也为空。UnityProject/Assets/GameScripts/HotFix/GameLogic/DataMgr/Skin/SkinDataMgr.cs:125
- P2|称号和气泡组合预览错误:称号资源同时被加载到称号背景和建筑图片,建筑应展示当前神针;气泡仅设置第一条气泡,
m_imgBubble2 与当前头像框 m_imgBorder2 从未赋值。UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:741
- P2|“已过期”状态不可达:
IsOwned 在到期后直接返回 false,时间区域随即隐藏,因此后面的“已过期”文本永远不会显示;同时使用设备 UTC 而非服务器同步时间。UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:975
- P2|仅显示已拥有不是按类型独立:所有页签直接共用当前 Toggle 值,切换页签会继承上一页签状态,不符合每种皮肤类型独立存储要求。
UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:573
- P2|使用中皮肤无法持续固定第一位:列表项创建后按 ID 缓存复用,后续激活新皮肤时没有调整
siblingIndex;数据虽然重新排序,视觉层级仍保持旧顺序。UnityProject/Assets/GameScripts/HotFix/GameLogic/UI/PlayerInfo/SkinUI.cs:590
最终总结
排名 |
模型/层级 |
说明 |
|---|
|
Tier 0 |
该等级的模型实现与线上基线高度一致。 |
1 |
Claude-Fable-5 |
|
1 |
GPT 5.6 Sol |
|
1 |
Claude Opus 5 |
|
2 |
GPT 5.5(xhigh) |
|
|
Tier 1 |
该等级的模型的代码正确完整且可编译,仅少量边界问题或轻微不一致。 |
3 |
Claude Opus 4.8(Max) |
|
4 |
Kimi K3 |
|
4 |
Grok 4.5 |
|
4 |
GLM 5.2 |
|
5 |
Kimi K2.7 Code |
|
6 |
GPT 5.5(high) |
|
7 |
Composer 2.5 |
|
8 |
DeepSeek V4 Flash 0731 |
|
9 |
Kimi K2.6 |
|
10 |
GPT 5.6 Luna |
|
11 |
GPT 5.5(low) |
|
12 |
GPT 5.5(medium) |
|
13 |
Claude Opus 4.6(Max) |
|
14 |
Claude Sonnet 4.5 |
|
|
Tier 2 |
该等级的模型的代码至少可编译或仅极少量的语法错误,但是存在明显功能错误、遗漏或与需求/线上不一致。 |
15 |
GLM 5.1 |
|
16 |
Minimax M3 |
|
17 |
Mimo V2.5 Pro |
|
18 |
GLM 5 |
|
19 |
Kimi K2.5 |
|
20 |
Claude Sonnet 4.6(high) |
|
21 |
Qwen3.7-Max |
|
22 |
Qwen3.5-Plus |
|
23 |
KAT-Coder-Pro V2 |
|
24 |
DeepSeek V4 Pro(max) |
|
|
Tier 3 |
该等级的模型的问题很多且无法编译,或者存在不少幻觉。 |
25 |
DeepSeek V4 Flash(max) |
|
26 |
Claude Opus 4.7(Max) |
|
27 |
Qwen3.7-Plus |
|
28 |
Grok Build 0.1 |
|
29 |
Grok 4.3 |
|
30 |
Mimo V2.5 |
|
31 |
Hy3 Preview |
|
32 |
GLM 5 Turbo |
|
33 |
Gemini 3.1 Pro(high) |
|
34 |
Mimo V2 Pro |
|
35 |
Mimo V2 Omni |
|
36 |
Minimax M2.7 |
|
37 |
Step-3.5-Flash |
|
38 |
Qwen3-Coder-Next |
|
39 |
Gemini 3 Pro |
|
40 |
Gemini 3 Flash |
|
41 |
Doubao-Seed-2.0-Code |
|
42 |
Doubao-Seed-2.0-Pro |
|
43 |
Doubao-Seed-2.0-Lite |
|
44 |
Qwen3.5-Flash |
|
45 |
Qwen3.5 35B A3B GGUF Q4_K_XL |
|
46 |
Qwen3.5 9B GGUF Q4_K_XL |
|
47 |
Grok 4.20 0309 Reasoning |
|
Kimi K3 & Grok 4.5
Kimi K3 与 Grok 4.5 犯的是同一个问题,果然是同根生。
Grok 4.5 是我日常偶尔在用的模型,因为它速度快,效果也不错,非常期待它后续的 Grok 4.6、Grok 4.7 版本。
Kimi K3 的速度实在是太慢了,再加上消耗的令牌数也不低,所以直接打破了评测最长耗时记录,并且遥遥领先,整整花了一个多小时才完成了测试。
最近我在尝试使用 Kimi K3 重构一个项目的 UI,这是一个由 GPT 5.6 生成的管理工具,即使我给出了多个设计要求,但界面依然是非常浓郁的 AI 味。
Kimi K3 在这方面确实非常不错,它给出来的设计草案和 Demo 看起来很棒,两者对比之后才发现觉得 GPT 5.6 编写的界面有 AI 味的原因。
GPT 5.6 的设计主要差在排版、整体元素的大小和间距上,Kimi K3 的设计则更加精致。
由于 Kimi K3 的重构工作还未完成,就暂时不放图片出来对比了。
总结来看,我会愿意让 Kimi K3 进行 UI 设计,但在其它任务上,无论考虑速度还是性价比都不如使用 GPT 5.6。
而 Grok 4.5 的速度非常快,在日常任务中我愿意使用它来替代 Composer 2.5。
Claude Opus 5
Claude Opus 5 花费了 55 分钟完成了评测,我认为一部分原因是它读取了非常多的 .prefab 文件,并且非常深入,因为它找出了很多预制体上的问题(虽然并不在需求要求的范围内):
- m_goListContent 未绑定 ContentSizeFitter 组件,滚动范围可能不对。
- Viewport 的 Mask 没有 Graphic,实际不会裁剪。
- m_goTemplateListItem 上没有 Button, 可能无法点击。
这些问题是第一次有模型提出,而且我确实有印象,在之后的线上版本中我陆续修复了这些问题。
但预制体并不在评测范围内,因为我也不想它直接去读取预制体文件(数据量很大,费 Token 也费时间,所以我有在需求案里直接描述了所有相关预制体的结构),只能说耗时过多情有可原,但也不予加分了。
代码的完成度上,Claude Opus 5 只犯了和 Claude Fable 5 一样的一个细节错误,比 Claude Opus 以往的版本的表现都要好。
GPT 5.6 Sol
GPT 5.6 Sol 在浏览了一遍代码库之后,遵从指令向我询问了它不确定的问题。
这是 GPT 5.5 及其它模型都没有做到的,或者说它们并没有发现这些问题,因为询问的问题都是之前模型易错的问题。
GPT 5.6 Sol 花费的时间也是 GPT 系列模型有史以来最长的,它不仅阅读了代码,还阅读了配置表。
值得一提的是,GPT 5.6 Sol 我是测了两次,因为第一次评测时,我发现它在遇到问题时,并没有直接向我提问,而是先去查找提交历史、其它分支的代码,它通过这种方式发现了线上分支的代码,于是我直接中止了对话。
这种情况可能之后会越来越常见,评测的环境需要更加严格了。
最终,GPT 5.6 Sol 相对 GPT 5.5 来说,它花费的时间更长,但是它也做得更多。
即使需求案里没有要求的,它也会认为这是应该做的,比如说这个评测需求里,红点系统、自动切换系统都只写了一半,涉及到的地方都使用了 TODO 进行注释。
虽然皮肤涉及到了这些系统,但是需求案并未要求要补全红点或者自动切换系统的功能,GPT 5.6 Sol 还是默认认为这些系统应该是完整的,尽力去做了。
DeepSeek V4 Flash 0731
这篇文章中前四个模型其实在上个星期就测好并且写好了总结,但一直不太想发布,因为一直在等一个良(梁)日。
突然今天 DeepSeek V4 Flash 正式版发布,并且 GPT 5.6 Luna 的价格令人震惊瘫坐,看来吉时已到,正好测了立马发布。
本次 DeepSeek V4 Flash 正式版与预览版本的表现确实天差地别,以下分点说明:
将 V4 Flash 正式版排在 GLM 5.2,甚至是 Composer 2.5 的后面可能招来很多争议,我也有心理准备。
特别是有像 DeepSWE 这样也非常符合我的使用体验的基准测试,测试结果是 V4 Flash 正式版的得分超过 GLM 5.2 不少。
但通过我自己这次进行的 Unity C# 需求开发中的表现来看,284B 能有这个表现已经非常惊艳了,但用 284B 的模型全面战胜 1T+ 的模型,在评测过后,我持怀疑态度。
GPT 5.6 Luna
GPT 5.6 Luna 这次测的是 Max 思考程度,由于它现在的价格在购买订阅后几乎等于不要钱,并且宣传的速度也非常地快,那么我对它的实际能力就很感兴趣了。
实际测试有一点大跌眼镜,在 Max 思考程度下,它竟然打破了 Kimi K3 的耗时记录,花费了 95 分钟才完成了整个测试!
这并不是它的令牌输出速度太慢,实际上是执行步骤非常多,花费了整整 47M 的令牌数,是一般模型的 4 - 5 倍。
GPT 5.6 Luna 主要犯了一个功能未实现的严重错误,但其实它可以完成的更好,它在中途其实已经停下来询问过自己不清楚的地方,
但由于这些问题都可以从代码库中找到答案,所以之前模型的询问我也是没有直接给出答案,而是让模型自行仔细阅读代码。
但最终依然没完成此功能的开发,总结中也有列出自己未实现此功能,是因为无法找到对应的数据。
这样看来,GPT 5.6 Luna 给我的感觉就更像是 GPT 5.6 Sol 的阉割版,能够思考但是又思考得不足。
导致了它在面对这种对它来说复杂的需求时耗时太长,且最终完成的效果也不够好。
作为一个定位是经济快速的模型,在这种需求上实际体验不如 Grok 4.5、DeepSeek V4 Flash 这些模型。
总结
- 前沿模型完成任务的速度越来越慢了,无论你是说因为模型大了还是高峰期限速之类的,最终对于用户来说就是慢了,除了 Grok 4.5、DeepSeek V4 Flash 以外,其它几个模型花费时间都超过了 30 分钟。
- 模型猜测用户意图的能力越来越好了,Opus 5、DeepSeek V4 Flash 会查看预制体中的错误,5.6 Sol 会查看配置表中的错误;在这个评测场景来说是好的,但是否会过拟合还得再测试更多场景。
- DeepSeek V4 Flash 正式版与 Grok 4.5 会替代 Composer 4.5 成为我日常快速任务使用的模型,首先它们足够快,给人的感觉都很可靠,其次效果也足够好,而 DeepSeek 主要胜在不用担心降智,价格极其便宜且易于获取。
- Kimi K3 与 Opus 5 成为我前端、架构、3D 设计所使用的模型,之前我不会为了这些任务专门使用一个模型(只用 GPT)。
- GPT 5.6 Sol 成为我的主力模型,之前是 GPT 5.5。
- GPT 5.6 Luna 在订阅中价格便宜,但对于复杂需求来说不太好用,但不排除它有非常好的执行简单任务的能力。
- T1 行列现在已经成为基线了,DeepSeek V4 Flash 正式版的发布甚至让其已经成为斩杀线了,非 T1 模型几乎不用再考虑使用,并且期待第一个进入 T0 行列的国产模型出现。