只在意谁的跑分高，但是他跑分本来就低，你们却不在意吗|换句话说，他只是所有AI中最能用的但它是能用的吗

欣欣|林可欣 2026-07-10 21:22 1

如果把跑分粗略的认为是成功率，那么都已经到了这个年，代这个阶段，在他们的多轮重复测试的情况下，成功率仍然不足50%甚至30%的东西，你为什么又敢用呢？

而事实上没有听说这些模型做什么任务能只有80%成功率的

或者说世界任务千千万，测了几个任务呢就定论了

概率模型就吃概率，你这个题库就这些题，哪怕再更新也只是换了一套题，一个AI 他这次这套题写的好，下一次就不一定好写另一套题就不一定好

最后

最新回复 (19)

Hifumi Mizuhara 07-10 21:23

1楼

这些跑分都是因为此前的benchmark没区分度了搞出来的这不代表模型能力低啊

这题让人做基本没有分数的
欣欣|林可欣楼主 07-10 21:24

2楼

人做没有分数的东西，人类用AI解决的问题偏偏人又能解决

到底测了什么？ ^-^
Hifumi Mizuhara 07-10 21:26

3楼

人类要用AI解决的事情不局限于人能做的事情

比如我不能帮你修你的照片^-^
咕嘎治愈世界 07-10 21:27

4楼

谁用算盘打我，可恶，华山论剑还有暗器偷袭
jackport 07-10 21:28

5楼

就算以你的说法，他分数低，你不在乎题目有多难，只看他完成不了，但是这不是没办法了吗，矮子里挑将军，你总不能挑分数低的用吧
欣欣|林可欣楼主 07-10 21:30

6楼

进一步说的话，我强调的是你想让他完成东西但他不一定能完成，你愿意相信他吗？如果他没能完成，你会怎么想呢？

你们说这个模型跑分纯刷的，我去试试另一个模型…

结果另一个模型就行了(说不定)
neri 07-10 21:30

7楼

分数高的不一定行，分数低的那大概率还是不行
Hifumi Mizuhara 07-10 21:31

8楼

看不懂没能完成说明模型至少在这方面能力不行或者是模型今天降智了还能说明什么
suannai 07-10 21:32

9楼

不认同这些 Benchmark 的跑分可以看一下 Arena AI 给的排名，Arena AI 是盲测
jackport 07-10 21:32

10楼

（帖子已被作者删除）
jackport 07-10 21:32

11楼

他就是想说模型是概率模型，可能脑子一抽就行，脑子一抽就不行，其实没有意义，你没得选

他就是想说模型是概率模型，可能脑子一抽就行，脑子一抽就不行，其实没有意义，你没得选
Hifumi Mizuhara 07-10 21:33

12楼

跑分能说明在同等题目同等变量的情况下 A模型在本测试的表现超过B模型

这已经是可能的最公平的对比方式了再说测试题这么多呢

那高考分数，小测分数又意味着什么呢^-^
欣欣|林可欣楼主 07-10 21:34

13楼

归根结底就是

画图需要抽卡，做任何事情都需要抽卡

大概就是本话题的妥协

Agent时代似乎很少听说top k temperature之类的参数了这些东西很重要的呀虽然API调用一般都还是支持这些的但也没有官方主动推荐参数了

谷歌在这方面就挺好

另外关键的就是在c端产品中从来没见过谁支持这些参数设置哪怕是一个更简单易懂的配置切换按钮(比如更稳定，更创意什么的)

Gpt选择直接改人格，而不是改参数
Hifumi Mizuhara 07-10 21:34

14楼

我感觉我也是

我总感觉下了考场那一瞬间我就能想出很多题目的正确做法^-^

难道这就能证伪分数的意义了吗
Hifumi Mizuhara 07-10 21:35

15楼

top k temperature之类的参

这些东西都扫进垃圾堆了吧 Temperature都是默认1
neteroster 07-10 21:38

16楼

呃呃，如果我说早就饱和的 benchmark 一抓一大把呢？现在的 benchmark 本来就是要有区分度的，不然全是 99% 100% 看啥啊
SwiftUI 07-10 21:42

17楼

测试完成度不够高是因为这些测试都是让ai自主进行困难任务

太简单的测试现在模型都能几乎全对就没必要测了比如swe verified/arcagi1这几个测试都是去年基本上十几二十几正确率今年几乎全满分

现在搞那么多种测试就是为了尽可能覆盖多种场景长任务短任务上下文代码 agent 研究之类的

讨论模型刷分不刷分也没啥意义如果真的所有测试都能前几那能力就不可能差比如gemini3.1pro虽然hle和arcagi都能排前几但是他agent分数是很差的他如果能给代码测试分数刷上来的话不也是能力提升
john 07-10 21:45

18楼

如果把跑分粗略的认为是成功率，那么都已经到了这个年，代这个阶段，在他们的多轮重复测试的情况下，成功率仍然不足 50% 甚至 30% 的东西，你为什么又敢用呢？

跑分不是成功率，你这属于是自己画个靶子自己打，一大堆阐述都建立在错误的前提上
mild_cloud 07-10 21:47

19楼

：~~跑得快不一定行，不跌跟头才是成功~~