2. Linux.do
  3. GPT6luna 和 GPT6sol 的缓存能不能共享

GPT6luna 和 GPT6sol 的缓存能不能共享

cherryfrei 2026-09-24 06:24 1

有 pro PLUS 自己反代的佬友有没有测试过这个问题，我用几家中转站发现都是共享缓存

最新回复 (6)
  • exboy 09-24 06:28
    2楼

    之前使用中转站的时候，切换模型缓存会重新创建，这个应该是模型厂商那边的能力

  • cherryfrei 楼主 09-24 06:29
    3楼

    我之前也是切换缓存失效，但是 GPT6sol 和 GPT6luna 的缓存技术可能不太一样

  • HeriX 09-24 06:36
    4楼

    从技术层面上来讲， 不同模型的缓存是不能通用的


    不同权重的模型kv缓存算的肯定不一样


    不然输入都可以用便宜模型来了

  • cherryfrei 楼主 09-24 06:39
    5楼

    我觉着技术上还是能实现高速缓存共享的，还是希望大家真实测一下，看看是不是我的几个中转站的问题还是 GPT 缓存机制变了

  • HeriX 09-24 06:43
    6楼

    从LLM原理上就没有可能， 权重不一样， prefill出来的键值对没有可能一样的

  • fablia 09-24 06:50
    7楼

    至少之前5.6和6是不行的，完全重建缓存


    Claude切换模型的时候也会提示，会重新把上下文读取进去，消耗会更大

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐