缓存命中率越低越好,应该是这样吧?

AIWAN 2026-06-23 14:21 1

缓存命中率实际是token重复率,是“重复的上下文”总和占全部提交总和的比 。

占比越低说明使用了更少的对话次数完成。

一个会话一次过,命中率就0.(codex有固定开头的不为0)

一个会话不断地提交,提交次数越多,命中率越接近99%。

同一个任务,命中率越高=效率越低。

为什么很多人都想让命中率提高?

减少命中率才是减少总开支的方向。

----------以下为参考数值给佬友对比-----------

初始上下文 = 10000 Token,总新增10000 Token,

分别三次提交和10次提交完成。

三次提交命中率55.6%,总token 45K

十次提交命中率86.7%,总token 150K

最新回复 (15)
  • V_Arrow 06-23 14:24
    1

    感觉还是用产出的质量和货币花费来评估吧,单看一个命中率说明不了什么

  • Brantfang 06-23 14:25
    2

    不能这样说。没有这种关系,两次对话就完成任务,而第二次命中的部分很高,剩下的部分和答复内容又不多。这种占比也是很高的。

  • Megasoft 06-23 14:28
    3

    因为一个会话一次过的理想情况,目前几乎不可能做到


    然后你又不可能每次都 /new 会话来做任务,那多轮对话就不可避免了,在这种情况下当然缓存命中多多益善


    前提都不一样,没得比

  • admini 06-23 14:28
    4

    在相同的轮数中,命中率越高省的成本越多啊。当然不能比较 1 轮完成和 20 轮才完成的,哪怕 20 轮命中率都很高,但是消耗肯定比 1 轮就完成的高很多。

  • catboss 06-23 14:30
    5

    缓存命中越高越省成本,除非你一轮就解决了问题

  • 𝕐𝕖𝕒𝕙 06-23 14:31
    6

    感觉佬把逻辑搞反了,反过来说逻辑上更顺畅似乎 ^-^

  • clear 06-23 14:31
    7

    缓存命中率越高,模型输入的上下文重复内容占比越少,收费越低

  • YakumoReddo 06-23 14:35
    8

    缓存命中率完成任务使用的对话次数没法去评判任务完成的好坏。

    命中率高代表省钱。ai读一遍代码就好几万tokens出去,再加上累积的内容,如果全不命中缓存,几轮下来费用高得离谱。


    而对话次数少就完成任务不能代表一定是好的。这个需要根据你的项目、提出的任务进行判断。

    就好比,你让ai在空项目中建立git仓库,那么可能调用一次目录读取,发现没有什么文件,直接开始走git操作流程了。而如果是在一个有内容的项目创建git仓库,可能会在扫完目录后还需要去判断哪些文件需要忽略、哪些文件需要扔到lfs等,这就需要更多的工具调用和ai请求。

  • chen_xiang 06-23 14:36
    9

    只拿一次来说肯定是不合理的,如果每次都一次修改好的话那就不需要看缓存了。

    如果简单问题的话一遍过确实可以不考虑缓存,正常情况下问题都是多轮迭代解决的。难道你指望都是一遍过,如果没解决再开一个会话解决吗,这样缓存不就更低消耗代币更多吗?

    还是你的问题都是很简单每次都是一遍过呢?

  • WolfHolo 06-23 14:37
    10

    只能说有一点点参考价值

    但反过来缓存命中率高一定会省钱

  • Ivan Li 06-23 14:41
    11

    表象上是缓存命中率低,实质上是调用次数少。


    模型调用次数少不就要求模型尽早收到必要信息完成任务嘛?最好的情况就是尽快、不多不少地获取必要的信息来减少上下文,这样次数少,输入 token 少,产出也好,皆大欢喜。


    如果不能满足这个,那 Agent 只能靠一次次的模型调用一步步按需获取信息来产出好的结果,这时候不就喜欢缓存命中率高的来减少成本了嘛。


    这最后就考验提示词写得如何咯,如果模型一样,那调用次数和成本能评判提示词写得咋样。

  • Max 06-23 14:41
    12

    没往这方面想过…我平常用来读读论文啥的,缓存命中率就很高了,因为一直在反复提问同一个内容。

    但是“越低越好”感觉有些奇怪,难道佬是想表达:较低的命中率意味着每一轮的对话都比较独立、信息量大,没有在原地踏步?

  • AIWAN 楼主 06-23 14:48
    13

    换个名字你就不觉得奇怪了,那个实际上是“token重复率”,名字问题,叫重复率你就不会觉得越高越好。

  • 娜娜米 06-23 14:53
    14

    看情况吧,总要回顾检查和确认有没有什么 Bug 和问题的,那部分回顾能算作缓存命中肯定是很好的,一遍过太理想了,也太信任 AI 了

  • feifanxiaozi 06-23 15:05
    15

    我认为判断命中率高低是好还是坏,应该看支出成本,而不是总token数。

* 帖子来源Linux.do
返回