刚 Tibo 说 codex 支持会话的永久缓存，有懂技术的解释下这可能吗

放你本地了吧

缓存只能是内存？对于 ai 推理过程，结果作为缓存放硬盘也大幅提速

绝大部分是存在磁盘里,怎么可能全放内存,这还用想吗.

😳 这该不会是超过一定天数后只存一个 hash ，下次 hash 匹配上就把相关费用免掉吧？反正也不用真的把缓存留着，只要用起来感觉缓存还在就行。而且对大多数用户来说，回头接着用 12 小时前的内容本来也不算常见。

写入磁盘了。

好家伙 正面硬扛 compact 和 handoff

DeepSeek 2.5 时，在知乎宣传过自己的 HDD 缓存

大模型早就有缓存写入磁盘的技术了吧？我记得 DeepSeek R4 两个重大技术突破：一个是提出思维链，另一个技术就是使用磁盘作为一部分缓存，换取低廉的 token 成本。

KV 缓存而已，并没有很大。

我还以为 KV 缓存本来就是永久或者长期（比如半年）保留的，没想到竟然会在几小时之后就删除

原对应 tibo 帖子：

https://x.com/thsottiaux/status/2112712984644784534


对应 OpenAI Developers 帖子：

https://x.com/OpenAIDevs/status/2112603916076781778


您可以选择“12h”，保留 30 分钟的默认设置，或者在一个请求中混合使用两者：12h 用于共享指令，30 分钟用于较新的对话内容。

如果您需要全天重复使用相同的上下文，重复重用的节省将大大超过 12 小时缓存的额外成本。

You can choose “12h”, keep the 30-minute default, or mix both in one request: 12h for shared instructions, 30 minutes for newer conversation content.

If you need to reuse the same context throughout the day, savings from repeated reuse can significantly outweigh the extra cost of 12-hour caching.

@dnfQzjPBXtWmML 并非不大。4bit 量化，一个 token 对应的向量按 1536 算有 0.7kB ，256k 的上下文就有 180MB 啦。算上内存压缩比 1 ，也有近 100MB （虽然落盘压缩率应该会更高，但应该也不太能接受的）。这还是一个 session ，你一个用户有多少 session ，还有 subagent ，还有 compact 要不要持久化（对模型来说应该就是一个新的 context ）？同 context 换个模型等于就要再存一份。
考虑到用户量，就算落盘高压缩，感觉也不是能接受的成本，而且这些持久化感觉没什么意义，对后续训练应该也没复用的帮助。
api 的 kv cache ，基本就是 5min ，之前好像哪家还有 1h 档的，但计费不同。
api 现在说是 12h ，但写入计费是直接输入的 2.5x 。codex 这个所有的永久我猜是本地加密，然后要用的时候上传远端解密。

@vonfry 本地不可能的，磁盘没那么大，传输也没那么快。200k 的上下文，deepseek-v4.1-flash 就要 180MB KV cache 了。sol / astra 系列至少比 ds 大一个数量级。

换一个说法你就会骂人了
我们会永久保留你的所有聊天记录

无非就是命中聊天记录后，虽然 GPU 里面没缓存，但是给你按照有缓存的价格计费

ssd 也没那么不堪，offload 了解下

@vonfry 除非每次都跑长上下文 rag ，否则交互式对话上下文的膨胀速度可能没那么夸张。而且我觉得针对特定数据设计的压缩算法会比通用压缩算法压缩比高。

做个特殊标记，下次会话的时候，把应该命中，但是因为过期而未命中的费用免去，不就可以了吗？反正使用的时候，你又感觉不出来。

纯粹就是翻译问题，应该叫“持久化缓存”，就是会存到硬盘上的缓存。

以前除了 DeepSeek 官方以外很少有供应商提供这种缓存，都是内存缓存，有效期以分钟计（一般只有 5~10 分钟），你稍微休息一会儿再发提示词，甚至工具调用时间长一点，缓存就会过期，过期之后下一轮就要全价计费。

有了“持久化缓存”之后，缓存有效期就可以有数小时，你中间休息 15 分钟什么的都不会导致多计费，很划算。

“缓存永久保留”和“永久缓存”也不是一回事，这个是要你反复进行对话才能刷新缓存过期时间的，结合 12 个小时的长效缓存，需要你每天在同一个会话上工作才能达到缓存不过期的效果。或者使用某些 Agent 软件提供的“缓存保温”功能（相当于每隔一段时间就在当前会话上自动发 1 个字的消息）。

有人说根本不保存到服务器硬盘上, 只不过给你这部分按照缓存命中计算价格而已.

或许可以这么说, 保存在我们自己的硬盘上了.

这个应该是落盘的缓存吧。。

我的理解，就是 openAI 给你的账单适度的优惠一些。

就像是你用的到底是什么模型你不知道一样。依然是 GPT Omakase

要额外收费的，就是之前 A\和 qwen 那种主动缓存的小变种

分布式存储

我的理解是，会话很长，不等于 cache 也很长。一个很久的会话，每次压缩都可以把之前的 cache 清掉，这样，一个会话最大的 cache 不会超过上下文窗口的大小（ codex 默认是 500k ）。再配合分层缓存，也并不是不可接受。最后，即使很久之前的数据系统清掉了，你使用的时候，给你算一下但是不计费，其实从用户层面也可以认为是永久缓存

我觉得应该是本地缓存的，要不然怎么和 api 区分开，要是服务端那成本也是很高的

感觉像是 ds 技术下放