2. Linux.do
  3. 各位佬的ollama使用的时候会算缓存吗？

各位佬的ollama使用的时候会算缓存吗？

Epresin 2026-07-06 12:08 1

newapi里面看上去是没缓存的 不知道实际上算没算

最新回复 (5)
  • fablia 07-06 12:10
    1楼

    ollama cloud嘛

    那个是按gpu时间计费的，不是按token

  • Epresin 楼主 07-06 12:10
    2楼

    就是20刀的套餐，不知道怎么算的

  • mild_cloud 07-06 12:14
    3楼

    ollama cloud是按GPU时间计费的，最终响应中没有缓存命中这一字段
    但是ollama会自动缓存 KV 状态。如果你的请求命中缓存，那么prefilling阶段更快，prompt processing time时间缩短，最终产生的费用减少


    转个别的佬的说法

  • Epresin 楼主 07-06 12:16
    4楼

    原来如此 谢谢佬，我以为完全没缓存吓一跳

  • Alex 07-06 13:57
    5楼

    话说现在ollama的用量怎么样，周用量多少？

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐