【SNSE Bench】GLM-5.2，以及对 GLM 的碎碎念

上一篇：Hy 3 正式版

在展示 GLM-5.2 的评测结果之前需要先叠几层甲——GLM-5.2 在本次测试中的表现并不优秀。考虑到社区中有较多的 Agentic Coding 相关讨论，以及对于这个模型的 Agentic Coding 能力评价较高，我需要重申在 预告帖 中说过的一句话：

尽管都是编程相关，算法竞赛题目所需的能力与软件工程 / Coding Agent 并不完全重合。模型在 SNSE Bench 中的表现与其软件工程能力并无必然联系。

正文

在将近一年以前，智谱的最新模型还是 GLM-4.6 的时代，笔者当时已经有了 L 站账号，对于 LLM 有了一定的了解。尽管笔者当时还没有维护一个自己的 LLM 题库的想法，但还是很想了解各家模型在算法竞赛中的表现，于是从某处挑选了一道题目给各家模型做。这道题目现在成为了 SNSE Bench 中的第一题，通过它对于目前的前沿模型，甚至中档模型来说都较为简单。但在当时，笔者测试过的模型中，绝大多数都无法通过该题。Gemini 2.5 Pro 是第一个能在多次测试中通过至少一次的模型，而 GLM-4.6 则是第二个，也是第一个能通过该题的国模。笔者当时还为 GLM-4.6 在 LiveCodeBench 上的优异表现发表过一些看法。

时隔近一年，题库从一题变为了十二题，再次测试 GLM 的最新模型。它在这道一年前就已解决的题目上只获得了 40 分。LiveCodeBench 也从智谱的文档中消失了，取而代之的是 SWE-Bench Pro 和 Terminal-Bench 2.1。在 https://vals.ai 的测试中，GLM-5.2 在 LiveCodeBench 上的分数仅为 69.50%。

744B 很大，撑得起智谱万亿的市值；744B 很小，容不得 GLM 记住这道题。