Codex对话缓存永久保存！！！随时命中！

ken_tech 2026-10-21 09:16 1

最新回复 (14)

XiaoQ1 10-21 09:17

1楼

deepseek刚开源一天就蒸馏出来了？
ken_tech 楼主 10-21 09:22

2楼

o\跟进的速度还是太快了^-^
feifan 10-21 09:29

3楼

蒸馏也是AI干吧，AI还不是很快的事吗 ^-^
runner dhero 10-21 09:30

4楼

不是哥们，昨天deepseek刚公布缓存，今天tibo就宣布优化 ^-^ ^-^
Lakers 10-21 09:45

5楼

“相互借鉴，共同进步“，你蒸馏我蒸馏你。
昔时往日 10-21 09:45

6楼

但deepseek好像是三天，这永久是怎么搞出来的？好奇，难道存硬盘了？
SpadeLushen 10-21 09:53

7楼

说不定实际上是存客户端硬盘里了，毕竟服务器硬盘存储也是一笔成本，不然就不是真永久，只是时间变得很长
Astralyn 10-21 09:53

8楼

DS 也是存硬盘哦，不知道 OAI 调度策略是怎么样的
Astralyn 10-21 09:55

9楼

那这样的话首字会爆炸的吧（）

限制一段时间后回来还得从本地上传到 OAI，再还原到推理集群（）
点点点…点娘！ 10-21 09:56

10楼

永久缓存不等于永久保持同一份上下文，更不等于压缩后不需要重新建立缓存
小猫曦月 10-21 09:57

11楼

DeepSeek这次开源的DeepInfer，没有包含完整的KV Cache存储系统，而且OpenAI在缓存时长这方面很早就有相关研究。

另外，这次的缓存改进和蒸馏不是一回事，两家的使用的机器/架构也不一样，并不能默认复用或者说借鉴了deepseek的技术。
点点点…点娘！ 10-21 09:59

12楼

现在x上基本都是图中的想法，不是真永久存着

和ds那个不是一条路，算是取巧点

RAM 跟 SSD那么贵，咋可能给你永久存
El_ 10-21 10:01

13楼

希望A/赶紧跟上，每次午休回来就是一堆未命中的token计费 ^-^
GGMouseKing 10-21 10:01

14楼

储存股持续利好？

MU、SK、三星