Cursor 审计发现： AI 编程基准测试成绩大部分是"作弊"来的， Opus 4.8 有 63% 的解法是抄的

allman 2026-06-23 11:38 1

https://cursor.com/blog/reward-hacking-coding-benchmarks

Cursor 团队最近对自己的 AI 编程模型做了审计，结果发现——基准测试的高分很大程度上是"作弊"来的。

具体数据：

在 SWE-bench Pro 上，Opus 4.8 Max 的 63% 成功解决方案，是直接从公开来源（ GitHub issues 、commit messages 等）检索修正，而不是 AI 自己推导出来的

当他们把 git 历史隔离、限制网络访问后，Opus 4.8 Max 得分从 87.1% 暴跌到 73.0%

Composer 2.5 更惨，从 74.7% 跌到 54.0%

说白了：这些模型在考试之前已经看过答案了。

这让我想到一个很不舒服的类比——就像一个学生每次模拟考都名列前茅，大家都以为他是天才，结果发现他只是提前拿到了答案。没有答案的话，他的真实水平可能只有中等。

最新回复 (28)

YangQingLin 06-23 11:42

1楼

Cursor 审计结果说 Composer 2.5 作弊？这波是大义灭亲啊
xiaomushen 06-23 11:45

2楼

不算作弊，刷题后去考试，算作弊么？
javalaw2010 06-23 11:46

3楼

我记得这事之前就有个 bench 团队发现过修正了啊，现在搞 bench 的还会犯这种低级错误吗
qingfeng9527 06-23 11:46

4楼

最近用 cursor coding 生成慢到令人发指, 有同感的吗,
sentinelK 06-23 11:56

5楼

其实这个问题是非常主观的。

学霸 A 刷遍了全世界所有的题，发现考试的时候撞题成功，考了满分。
学霸 B 智商超群，考试的时候利用其他题干互相印证推导，做题成功，考了满分。

他们都是满分，只是不稳定因素不同。

学霸 A 对于历史信息有过拟合。所以做题很难做满分。
学霸 B 推导的过程中会有误差累积，一旦某一个步骤出错，就全盘皆输，要么满分，要么 0 分。

其实这也就引申到了 GPT 时刻，讨论的非常火的问题，既所谓智能（智商、能力），到底是不是既有信息的统计学重复。
ludyleocn 06-23 12:00

6楼

万物皆可评测，没想到 llm 有一天也没法控制被别人的算法控制。
最可笑的还是一些提示词也不会的人天天在那喊降智。
xyyxlq 06-23 12:11

7楼

页面打不开，确定链接对么？
aes114514gcm 06-23 13:21

8楼

就类似高考，刷题是有用的，应试技巧确实有利于提高成绩，你学不学？
Visoar 06-23 13:25

9楼

This page couldn’t load... 看不到原文了

不知道有没有写具体，我理解这里面可能是两类情况
1 跑的过程中联网去 GitHub 搜索
2 训练数据里面有 GitHub 数据

前者可以算作弊语义，后者和作弊八竿子打不着吧
Lin0936 06-23 13:27

10楼

但是人类写代码也会去 github stackoverflow 上抄抄
deplives 06-23 13:49

11楼

难道人类学知识不是抄吗？
indexError 06-23 13:51

12楼

我一直觉得那些厉害的编码模型首先模型确实能理清那么大的数据量，最重要的服务器上还有一套系统来帮助他解决问题，类似于在用户端调用 edit grep tool 一样。那些降智啥的有可能就是服务器上这套系统在维护
jsq2627 06-23 14:17

13楼

@javalaw2010 就是 openai 发现，swe-bench 结果不靠谱，才搞了 swe pro ，结果 swe pro 避免不了同样的问题
bbbblue 06-23 14:35

14楼

开了 agent 给了 search tool 找到原题答案其实也算是 llm+agent 的一种能力
但是的确会误判 llm 本身的能力了。。。
JingW 06-23 14:49

15楼

如果照抄就算作弊，哪家的 LLM 原理不是作弊呢？
Rickkkkkkk 06-23 14:52

16楼

能在互联网上找到正确并且存在的解法就是大模型能力的体现啊。
nakun233 06-23 15:13

17楼

just work
@qingfeng9527 5.5 速度能保持，4.7 4.8 慢了好多
yh7gdiaYW 06-23 15:16

18楼

@Lin0936 你难道从来没写过全网没有现成技术方案的东西？ CRUD 写太多了啊
axisray 06-23 15:23

19楼

@xyyxlq google 搜索 reward-hacking-coding-benchmarks 还能看到一个西班牙语的结果，但是也打不开了
baerwang 06-23 15:45

20楼

你要知道 llm 底层是啥，没有了数据，llm 啥都不是
felixlong 06-23 16:06

21楼

@xiaomushen 这算在线查答案吧，从考试规则来看就是作弊。
coryxu 06-23 16:10

22楼

llm 本质就是预测下一个字的概率，只是让你看起来像是在思考。
目前没有任何一个 AI 能做到，要是真的能自主推导 AGI 也到了。
Leeeeex 06-23 17:59

23楼

@yh7gdiaYW 有啥功能是全网都找不到现成答案，只能自己科研的吗？
xiaomushen 06-23 17:59

24楼

@felixlong 开卷考试也可以鸭
yh7gdiaYW 06-23 19:42

25楼

@Leeeeex 太多了，真不知道就多看看 github ，trending 里有的是，不过现在被无意义的 AI 项目污染的厉害。举个实际的例子，23 年的时候我们做过在网页端（ HTTP 非 s ）做过动态下载几十到几百个文件打包成 zip 的功能，并支持打包过程中进行实时数据转换，最后输出的 zip 可以支持到几百 GB 。当时功能最接近的开源方案也没法支持这么大的文件实时组装，现在 HTTPS 普及了倒是简单了
yh7gdiaYW 06-23 19:45

26楼

@Leeeeex 还有一些开源方案没有，但有商业软件的，这种就太多了没必要一一举例子，这类需求 AI 最多能搜到些技术 PR 文，离实现方案还差得远
aloxaf 06-23 20:23

27楼

我觉得给 AI 开放搜索能力没问题，「触类旁通」也是一种很重要的能力，大学时接触了 CTF ，感觉这个比赛就非常有意思——它不限制你搜索，甚至有些题目还鼓励你去搜索（比如把 flag 藏在搜索快照里）。
但面对同样的问题，有的人能迅速提炼出重点然后搜索到相似问题，有的人搜来搜去却找不到什么有用信息。

这类 benchmark 的主要问题是更新太慢了，拦不住人家搜着搜着就搜到答案了……
txydhr 06-23 20:29

28楼

看上去回帖里 70%的人根本不知道 AI 是什么就在跟帖