先上原始链接:
kimi.com
Kimi K3 Tech Blog: Open Frontier Intelligence
Kimi K3 is the world's first open 3T-class model — frontier performance across coding, knowledge work, and reasoning, with native multimodality and 1M context.
Intro前两段基本就给kimi k3定性了。亮点:首个开源的3T级别模型,开源+3T啊,这个太恐怖了。另外,Kimi K3虽然和Fable 5和5.6sol有差距,但差距已经很小了。
然后是最重要的benchmark测试
benchmark测试
Benchmark结果从数值来看基本上和前面的描述能对上,能和Fable和5.6.sol掰掰手腕的水平。
中间大量的例子不看了,建议感兴趣的自己打开blog观看,有大量的视频和demo。下面是完整的跑分榜
完整的跑分榜
Full Benchmark Table
Benchmark
Kimi K3 (max)
Claude Fable 5 (max, with fallback)
GPT 5.6 Sol (max)
Claude Opus 4.8 (max)
GPT 5.5 (xhigh)
GLM-5.2 (max)
Coding
DeepSWE
67.5
70.0
73.0
59.0
67.0
46.2
Program Bench
77.8
76.8
77.6
71.9
70.8
63.7
Terminal Bench 2.1
88.3
84.6
88.8
84.6
83.4
82.7
FrontierSWE
81.2
86.6
71.3
66.7
64.9
67.3
SWE Marathon
42.0
35.0
39.0
40.0
14.0
13.0
PostTrain Bench
36.6
41.4
34.6
34.1
28.4
34.3
MLS Bench
48.3
49.9
46.2
42.8
35.5
40.4
Kimi Code Bench 2.0 (Internal)
72.9
76.9
64.8
71.7
69.0
64.2
Agentic
GDPval-AA v2 (Elo-score)
1668.0
1760.0
1748.0
1600.0
1494.0
1514.0
BrowseComp
91.2
88.0
90.4
84.3
84.4
—
DeepSearchQA (f1-score)
95.0
94.2
—
93.1
—
—
Toolathlon-Verified
73.2
77.9
74.9
76.2
73.5
59.9
MCP Atlas
84.2
84.7
83.6
83.6
82.8
82.6
Automation Bench
30.8
29.1
29.7
27.2
22.7
12.9
Job Bench
52.9
57.4
46.5
48.4
38.3
43.4
AA-Briefcase (Elo-score)
1548.0
1583.0
1495.0
1354.0
1158.0
1260.0
APEX-Agents
37.6
43.3
39.9
39.4
38.5
35.6
Office QA Pro
63.3
69.9*
63.2*
63.9*
60.9*
41.4
SpreadsheetBench 2
34.8
34.7*
32.4*
31.6*
29.1*
28.1
DECK-Bench (Internal)
73.5
73.0
74.7
66.9
68.2
68.6
Reasoning & Knowledge
GPQA-Diamond
93.5
92.6
94.1
91.0
93.5
91.2
HLE-Full
43.5
53.3
44.5
49.8*
41.4*
—
HLE-Full w/ tools
56.0
63.0
58.0
57.9*
52.2*
—
Vision
MMMU-Pro
81.6
81.2
83.0
78.9
81.2
—
MMMU-Pro w/ python
83.4
86.5
84.6
82.7
83.2
—
CharXiv (RQ)
84.8
88.9
84.6
80.5
84.1
—
CharXiv (RQ) w/ python
91.3
93.5
89.1
89.9
89.0
—
MathVision
94.3
94.8
95.8
86.7
92.2
—
MathVision w/ python
97.8
98.6
97.8
97.1
96.8
—
BabyVision w/ python
85.7
90.5
88.9
81.2
83.6
—
ZeroBench_main (pass@5)
23.0
23.0
17.0
17.0
22.0
—
ZeroBench_main w/ python (pass@5)
41.0
46.0
35.0
34.0
41.0
—
WorldVQA ForceAnswer
51.0
56.7
41.8
39.1
38.5
—
OmniDocBench
91.1
89.8
85.8
87.9
89.4
—
PerceptionBench
58.5
57.2
59.7
47.2
55.8
—
DeepSWE似乎很多人还是比较认的,这个榜的表现是(全开思考最大)
glm 5.2 < opus 4.8 < gpt 5.5 < kimi k3 < fable 5 < gpt 5.6sol
然后聊聊kimi blog里面自己提的limitation吧,感觉还是蛮有趣的
k3很看重思考历史(不知道以前是否出现过类似的概念?),所以尽量在支持的框架(如kimi code)里面使用,也尽量避免切换模型。这样来看的话,似乎k3的中转不会很舒服,而且如果思考都回传会不会导致后期成本过高呢?再看表现吧。刚才又想了一下,这个点其实还是从用户的角度来说还是有点尴尬的,因为k2.x系列很便宜很快,可能一个任务中只有少部分想要旗舰模型的帮助,但这种设计的话不鼓励切模型只能新开,也就没法在任务的中途切换k3出来辅助。
官方自己承认了k3很容易“过度发挥”,或者说“过于积极主动”?并且官方建议是在AGENTS.md里面施加约束。个人感觉这其实是一种大势所趋?fable5开始流行什么“一句话生成游戏”,不过度发挥的话就不可能生成出来。反正我的观点是主动一点总归是好的,大不了约束一下。但要是指令遵循也做不好就容易坏菜。
至少说明我们开源国模好起来了,开始和fable5和5.6sol对标了 ^-^开源的含金量啊
最后附上一点个人的使用体验和吐槽吧(199套餐):主要是科研编码和学术写作用,k3的强大一用便知,真的超强。但是智力的另一面是慢(其实也还好,只是习惯了highspeed再用k3确实感觉好慢),另外额度还是偏少,review一下我的140页大论文,自主开了几个子agent,然后10%的周限就没了 ^-^不过review的质量确实很惊人。要想爽用至少199甚至699,但kimi的699又有点尴尬(性价比不如199),不知道咋想的。啥时候699能对标gpt pro 20x我感觉就相当可以了。