2. Linux.do
  3. 我做了一个openrouter的供应商精度排行榜和缓存时间排行榜

我做了一个openrouter的供应商精度排行榜和缓存时间排行榜

a74fcz5b 2026-08-23 13:30 1

接上条帖子（开发了一个deepseek的指纹监控系统 ）我做了一个deepseek的监控系统之后，我有想着接入点什么？


最近两天主要加了两个新功能，其中第一个是供应商精度排行榜，用的是腾讯朱雀实验室刚刚发的论文（[2608.16391] Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs ）里面用的精度探针，然后让gpt5.6 sol vibe coding了一下，大概花了2,3块钱吧（网址为：大模型供应商保真度与精度损失排行榜 | LLM Status ）。



第二个功能就是接入了缓存命中时间排行榜，额，当然这里面的实现还有些问题，我还得再改改。

我目前是每隔1分钟，2分钟，3分钟，5分钟，以此类推，直到12h之后发起召回请求，然后再判断是否命中（网址为：大模型 API Prompt Cache 缓存有效期与命中率监测 | LLM Status ）。

不过deepseek的实现好像有问题啊，我待会修修。


各位佬友看看还有没有想要我检测的指标？如果可以实现的话，火速帮大家vibe上去。


域名是（status compare ^-^ 我朋友说这就是赛博斗蛐蛐的域名）

最新回复 (9)
  • pineapple 08-23 13:38
    1楼

    woc,牛逼了大佬，这是真有活…

  • nuhou 08-23 13:42
    2楼

    大佬，网站呢，让我们体验一下吧。

  • a74fcz5b 楼主 08-23 13:42
    3楼
  • HLiny 08-23 13:44
    4楼

    OpenRouter 自己不就有类似的数据吗？像缓存命中 90% 以上就没太大差别，不同用户的使用方法本来就不同

  • a74fcz5b 楼主 08-23 13:47
    5楼

    有吧，我目前的cache只测试了官方的，而且这个cache率和缓存时长是正相关的，但是不能直接对应出来。还是可以提醒大家用zhipu的佬友没完成任务之前不要轻易去蹲坑。 ^-^

  • 后皇嘉树 08-23 14:06
    6楼

    可能不同模型的缓存时间不一样，例如小模型反正不值钱，就不缓存了。智谱的 glm-5.2 缓存时间应该没有这么短^-^

  • a74fcz5b 楼主 08-23 14:23
    7楼

    我新增一下glm-5.2试试看。

  • a74fcz5b 楼主 08-23 18:26
    8楼

    我补测了5.2，你可以看看数据，glm的优化确实有很多问题

  • 后皇嘉树 08-23 20:11
    9楼

    我测的 glm5.2 缓存有一个小时，但是中间有小概率失效

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐