2. Linux.do
  3. 关于未来LLM的缓存会不会非常大，缓存命中会不会非常高？

关于未来LLM的缓存会不会非常大，缓存命中会不会非常高？

bamboo 2026-07-07 00:46 1

我们知道KV Cache和Prompt/Prefix Caching ， 一直在变大，存在内存或存储里，缓存命中，也确实是会变高。

但是我以为是在重复性的生产方面，缓存才会高命中。

在真正的非重复性生产方面，比如做原创项目，开发产品，调试产品方面；再比如各个环境不同的agent的各种调用，这些是不是命中缓存会低一点？

我以为，比如王者荣耀，十几年了那么多局，哪有一局是一样的。

那么，我的朋友讲的未来cache会很大，大到几乎所有人的99%的input/output都会命中缓存，然后算力需求会急速下降，这个是可能的吗？

最新回复 (3)
  • wqfc09 07-07 00:58
    1楼

    kv cache的问题先要解决显存大胃袋的问题，无限的上下文就需要无限的缓存。同时transformer的注意力机制肯定会导致在更长上下文情况下的注意力涣散

    建议看一下DeepSeek V4的论文。

  • 变鱼 07-07 01:05
    2楼

    建议先了解缓存的原理，缓存命中的硬性要求是最长前缀匹配

    其次提高缓存命中率的方法在于一，客户端harness编排上下文的能力，属于软件工程问题；二，缓存存储时间，属于infra工程问题。除此之外基本别无他法。

  • 一般路过不热心群众 07-07 01:11
    3楼

    无稽之谈。


    缓存拉爆又能怎样，正经定价还想白嫖吗，用llm是为了什么？

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐