话接上文:
灰度到的概率很大,大概是1/3
其实只需要随便发一句话就行,模型选择glm-5.2,比如:
你好
然后只需要看输入token数:
灰度到是14:
[image]
没灰度到是13:
[image]
智谱官方是13,和没灰度到一致:
[image]
实际上你用其他的提示词去测,差距更大,比如:
你是什么模型
灰度到是18:
[image]
没灰度到是15:
[image]
智谱官方是15,…
后面seed-2.1-pro发布后,其拉胯表现让我觉得这个路由的模型不应该是字节新模
那么是什么模型?怎么测呢?
我们有一个大杀器———— 灰度模型的token计数不一样
从token入手!
先思考一下原理和边缘情况
我们只知道的是,如果是官方模型,比如都是glm,那么火山coding plan(以下简称火山cp)和官方渠道,token计数是一致的,那么大概率是不带提示词的
但是,万一带了提示词怎么办?可以考虑使用增量法
简单说就是用两段文本:
aaa
aaabbb
先统计第一次的token数,然后再统计第二次的token数,然后作差。因为不同模型分词器不一样,所以这个差值肯定也不一样,即便你有系统提示词,也可以通过作差的方法排除,以此确定路由的是哪个模型,确定完模型后,就能进而反过来确定火山路由到第三方模型时,有没有加系统提示词了
开做!
先统计glm版本作为基础对比
初始输入token均为15
- 火山cp:

- 官cp:

增量token也均为64
- 火山cp:

- 官cp:

所以可以确定,这里测试账户的火山cp模型就是glm-5.2
继续测试另一个灰度账户1(灰度火山cp1),结果为claude系列
初始输入token为18

增量token为114

和官glm完全不一致,会是什么模型?结合这个口吻以及爱用emoji,以及计数器快比官glm翻倍了,感觉像claude 4.6/4.7/4.8
那直接对比一下官claude 4.6/4.7/4.8:
4.6op初始14,增量70


4.7op初始18,增量114


4.8op初始12,增量114


很明显了!灰度火山cp1账户,被灰度的模型是4.7op或者4.8op,但是结合glm都没系统提示词,这里更倾向于是4.7op,下文会继续去区分。这也就不难解释为什么会爱用emoji,以及语气比较热情了
继续测试另一个灰度账户2(灰度火山cp2),结果为gpt系列
初始输入token为9

增量token为60

和上面的官glm,克都不一样,而且token节省这么多,答案已经呼之欲出了,大概率就是gpt,估计是gpt-5.5/5.4/5.3/5.2等gpt5系列
那直接对比一下模型的token
gpt系列全部为初始9,增量60
这里全测过了,都一样,就只放一个gpt*5.5的图了


很明显了!灰度火山cp2账户,被灰度的模型是gpt-5系列的,那么具体是哪个模型?
可以先测试一下风格:

这个口气,基本确定就是gpt5系列的api
先总结一下
目前火山coding plan/agent plan,存在两种灰度,一种灰度到gpt5系列,一种灰度到claude 4.7/4.8系列
并且大概率应该都是没有火山自己加的系统提示词的(从glm和gpt可以看出来)
继续追究,那么 灰度火山cp2账户 究竟是哪个模型?
这个时候就需要用提示词去测试了,因为分词器看不出区别来
有没有比较好的测试方法?正好凌晨看到一个现成的,并且我刚好还做了一些标准测试:
改了一下提示词,改成1-300选,频率一下就骤变了
[image]
改成从1-350选,频率
[image]
添加了几十个字的干扰项,选数字不变:
[image]
差距太大了,本bench可能不具有什么意义
抗干扰能力并不强
直接把温度设置为0,结果甚至会很大概率一样
换句话说,只有提示词完全一致的时候才有意义
也算是鉴别掺水吧,毕竟官渠一般都没有内置提示词,或者说提示词…
有标准对照了,那直接开始测试吧




证据确凿!有相当大的把握可以认为是 gpt-5.5 了!
顺带看看juice值吧:






和官方api的数值完全一致:

很纯
继续追究,那么 灰度火山cp1账户 究竟是哪个claude模型?
方法我们同样使用上面的统计法,实际上我估计大概率就是4.7op。从初始提示词来看,具体还要验证一下
用上面相同的方法,看基准进行对比



确实是这样!可以基本确认是 4.7op 了!
最终结论
火山现在给相当多的人进行了灰度测试其他模型,如果你路由到了claude,那么就是claude-opus-4-7,如果是gpt,那么就是gpt-5.5
至于怎么计费,还是按glm-5.2进行计费
暂时不知道为什么火山要这么做,可能是为了收集更好的数据?或者说蒸馏国外模型?
此外,现在只要你选择glm-5.1,就会稳定切换为gpt-5.5:

所以缺gpt了,不妨买个字节的coding plan/agent plan