各位佬们是如何看aa这个网站的

artifical analysis最近又更新榜单的计算方式了，最新排名如下：

更新之前chatgpt 和 claude 的前沿模型是有巨大分差的，更新之后只差了一分了。

模型本身的能力没有多大改变，但是aa改变了评价模型的方式，计算出来的分值就出现了巨大的变化。并且aa很常做这种更新。还记得astra刚出的那会和fable差距很大，aa连着更新了几次计算方式，把astra 和 fable的分数拉到了近似的水平。。

aa这种’不稳定‘的榜单很难让人比较信服。

另外到现在aa的官网上还挂着一点参考价值都没有的end-to-end response time。我们都知道像是chatgpt，claude是不输出思维链详细内容的，于是aa就把思考的时间计算到了ttft时间内；同时像deepseek这样的模型是输出思维链的，但是它没有计算真实的思考时间，而是给出了一个较小的预期思考token数量，直接把这个token数目除以tps来得到思考时间。。。就很，草台班子，懂吗

但是aa是通过对于多个榜单进行加权平均来打分的，这种天然比别的榜单高一个层次的综合性让我一直将aa作为一个相对重要的参考。同时aa还提供了token use 和 cost per task 这种很有用的数据。

这就让我对于aa的看法很矛盾，佬们是怎么看的呢？