2. V2EX
  3. qwen3.5 2b 或 4b 吃满 256k 上下文需要多大的显存

qwen3.5 2b 或 4b 吃满 256k 上下文需要多大的显存

baton 2026-10-20 12:57 1

下载了几万本网络小说，想使用本地小模型对小说内容进行摘要，方便后续筛选阅读。本地小模型也就只有 qwen 跟 gemma 可用，我想知道需要多大的内存或显存才能吃满 256k 上下文。

最新回复 (1)
  • admin948 10-20 13:37
    1楼
    qwen3.8 27b,我的 5060Ti 16G ，就可以吃满了，而且速度还不慢

    用的是这个项目部署的：

    https://github.com/kvmem/kvmem
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐