一些Kimi K3博客中的亮点和缺点分享,附一点个人吐槽

impouo 2026-07-17 11:09 1

先上原始链接:




Intro前两段基本就给kimi k3定性了。亮点:首个开源的3T级别模型,开源+3T啊,这个太恐怖了。另外,Kimi K3虽然和Fable 5和5.6sol有差距,但差距已经很小了。

然后是最重要的benchmark测试




benchmark测试





Benchmark结果从数值来看基本上和前面的描述能对上,能和Fable和5.6.sol掰掰手腕的水平。


中间大量的例子不看了,建议感兴趣的自己打开blog观看,有大量的视频和demo。下面是完整的跑分榜




完整的跑分榜

Full Benchmark Table
















































































































































































































































































































































































Benchmark Kimi K3
(max)
Claude Fable 5
(max, with fallback)
GPT 5.6 Sol
(max)
Claude Opus 4.8
(max)
GPT 5.5
(xhigh)
GLM-5.2
(max)
Coding
DeepSWE 67.5 70.0 73.0 59.0 67.0 46.2
Program Bench 77.8 76.8 77.6 71.9 70.8 63.7
Terminal Bench 2.1 88.3 84.6 88.8 84.6 83.4 82.7
FrontierSWE 81.2 86.6 71.3 66.7 64.9 67.3
SWE Marathon 42.0 35.0 39.0 40.0 14.0 13.0
PostTrain Bench 36.6 41.4 34.6 34.1 28.4 34.3
MLS Bench 48.3 49.9 46.2 42.8 35.5 40.4
Kimi Code Bench 2.0 (Internal) 72.9 76.9 64.8 71.7 69.0 64.2
Agentic
GDPval-AA v2 (Elo-score) 1668.0 1760.0 1748.0 1600.0 1494.0 1514.0
BrowseComp 91.2 88.0 90.4 84.3 84.4
DeepSearchQA (f1-score) 95.0 94.2 93.1
Toolathlon-Verified 73.2 77.9 74.9 76.2 73.5 59.9
MCP Atlas 84.2 84.7 83.6 83.6 82.8 82.6
Automation Bench 30.8 29.1 29.7 27.2 22.7 12.9
Job Bench 52.9 57.4 46.5 48.4 38.3 43.4
AA-Briefcase (Elo-score) 1548.0 1583.0 1495.0 1354.0 1158.0 1260.0
APEX-Agents 37.6 43.3 39.9 39.4 38.5 35.6
Office QA Pro 63.3 69.9* 63.2* 63.9* 60.9* 41.4
SpreadsheetBench 2 34.8 34.7* 32.4* 31.6* 29.1* 28.1
DECK-Bench (Internal) 73.5 73.0 74.7 66.9 68.2 68.6
Reasoning & Knowledge
GPQA-Diamond 93.5 92.6 94.1 91.0 93.5 91.2
HLE-Full 43.5 53.3 44.5 49.8* 41.4*
HLE-Full w/ tools 56.0 63.0 58.0 57.9* 52.2*
Vision
MMMU-Pro 81.6 81.2 83.0 78.9 81.2
MMMU-Pro w/ python 83.4 86.5 84.6 82.7 83.2
CharXiv (RQ) 84.8 88.9 84.6 80.5 84.1
CharXiv (RQ) w/ python 91.3 93.5 89.1 89.9 89.0
MathVision 94.3 94.8 95.8 86.7 92.2
MathVision w/ python 97.8 98.6 97.8 97.1 96.8
BabyVision w/ python 85.7 90.5 88.9 81.2 83.6
ZeroBench_main (pass@5) 23.0 23.0 17.0 17.0 22.0
ZeroBench_main w/ python (pass@5) 41.0 46.0 35.0 34.0 41.0
WorldVQA ForceAnswer 51.0 56.7 41.8 39.1 38.5
OmniDocBench 91.1 89.8 85.8 87.9 89.4
PerceptionBench 58.5 57.2 59.7 47.2 55.8


DeepSWE似乎很多人还是比较认的,这个榜的表现是(全开思考最大)

glm 5.2 < opus 4.8 < gpt 5.5 < kimi k3 < fable 5 < gpt 5.6sol


然后聊聊kimi blog里面自己提的limitation吧,感觉还是蛮有趣的



  1. k3很看重思考历史(不知道以前是否出现过类似的概念?),所以尽量在支持的框架(如kimi code)里面使用,也尽量避免切换模型。这样来看的话,似乎k3的中转不会很舒服,而且如果思考都回传会不会导致后期成本过高呢?再看表现吧。刚才又想了一下,这个点其实还是从用户的角度来说还是有点尴尬的,因为k2.x系列很便宜很快,可能一个任务中只有少部分想要旗舰模型的帮助,但这种设计的话不鼓励切模型只能新开,也就没法在任务的中途切换k3出来辅助。

  2. 官方自己承认了k3很容易“过度发挥”,或者说“过于积极主动”?并且官方建议是在AGENTS.md里面施加约束。个人感觉这其实是一种大势所趋?fable5开始流行什么“一句话生成游戏”,不过度发挥的话就不可能生成出来。反正我的观点是主动一点总归是好的,大不了约束一下。但要是指令遵循也做不好就容易坏菜。

  3. 至少说明我们开源国模好起来了,开始和fable5和5.6sol对标了 ^-^开源的含金量啊


最后附上一点个人的使用体验和吐槽吧(199套餐):主要是科研编码和学术写作用,k3的强大一用便知,真的超强。但是智力的另一面是慢(其实也还好,只是习惯了highspeed再用k3确实感觉好慢),另外额度还是偏少,review一下我的140页大论文,自主开了几个子agent,然后10%的周限就没了 ^-^不过review的质量确实很惊人。要想爽用至少199甚至699,但kimi的699又有点尴尬(性价比不如199),不知道咋想的。啥时候699能对标gpt pro 20x我感觉就相当可以了。

最新回复 (15)
  • xiaoyu 07-17 11:13
    1

    不可能到GPT的量

    tibo:我要重置了

  • impouo 楼主 07-17 11:14
    2

    ^-^kimi一般新模型上线啥的会重置一下,但还是和奥特曼比不了 ^-^

  • Carlos 07-17 11:19
    3

    套餐不是在 Kimi Code 有 20x credits 吗, 所以这种量还是很少?

  • impouo 楼主 07-17 11:21
    4

    理论上199相当于20x,699相当于60x(20x 60x是相较于49的套餐而言,pro可是相较于20刀)。但是199的量也不是很大,干点重活很容易就到限制了。作为对比之前用2.x系列的时候199的限制很难干满。不过这也算是倒逼着不要把所有事情都交给k3吧,感觉这个3T大模型就是作为只处理最难问题的旗舰存在的。

  • rainxt 07-17 11:26
    5

    模型是好模型,但是性价比真的不高,还有感觉就是个草台班子(5h额度重置时间问题)kimi的5h用量刷新机制 综合来看只有对前端有硬性需求的时候值得搞一个订阅,别的方面不如gpt一把梭

  • yimugda 07-17 11:26
    6

    kimi k3是真的有点贵啊,比起其他国产模型

  • impouo 楼主 07-17 11:27
    7

    咦我没遇到过,这是草台班子这两天新加的bug? ^-^我这边5h和周限一直是固定刷新的

  • sg8011 07-17 11:33
    8

    现在这模型更新速度一月一个样,glm5.2刚出来多厉害,grok4.5出来后不也被比下去了,这才几天。等过几天dsv4pro正式版出来,说不定又是另外一番景象。

  • redhossu 07-17 11:38
    9

    主要是科研编码和学术写作用,k3的强大一用便知,真的超强



    真的么,佬可以说一些具体的例子么。我用kimi比较少。

  • xiaomao 07-17 11:39
    10

    营销号测评一水的oneshot出什么什么,有点boring,kimi是最古早的营销之王,曾经也是承包b站广告位的主。


    但是基模实力相当不错,指令遵循很好,以前用2.6当个work也不错,避免让他思考就行了。

  • impouo 楼主 07-17 11:40
    11

    ^-^主要是我自己科研用的,都不太方便分享。你对哪方面能力感兴趣可以看一下相关的榜,虽然榜说明不了太多但可以大概了解下趋势。blog里面也有科研相关的例子和demo,可以看一下。

  • impouo 楼主 07-17 11:41
    12

    我也感觉最近的oneshot其实有点审美疲劳,奈何fable5开始大家都在搞这个。

  • adtiad 07-17 11:44
    13

    review质量确实好,而且真的能把一些翻译回来的蹩脚中文修掉,剩下只需要小修小改就行了

  • 会飞的烤冷面空间站 07-17 11:45
    14

    我是98挡位的 之前是开的199 用不完就退回98 现在想测试k3长程任务的表现 发现根本测不了 一会就能到5小时限制 看来用它作为主力还是不太合适的 不过用来打辅助 写写前端 还是挺夯的

  • impouo 楼主 07-17 11:47
    15

    这个3T大模型 真的只能当旗舰来用,最困难的任务或者最关键的一些review啥的用用还行,当主力除非家里有矿 ^-^

* 帖子来源Linux.do
返回