2. Linux.do
  3. 8g显存16g内存部署Ternary-Bonsai-2-27B

8g显存16g内存部署Ternary-Bonsai-2-27B

812011525 2026-09-25 13:08 1

8g显存16g内存部署Ternary-Bonsai-2-27B PTQ1 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了

最新回复 (4)
  • wg1929 09-25 13:10
    1楼

    千问一直造福大家

  • 竹笋 竹笋 09-25 13:15
    2楼

    感觉不错啊，佬有教程吗？

  • petercao 09-25 13:26
    3楼

    智力怎么样?本地聊天效果好不好

  • 812011525 楼主 09-25 14:16
    4楼

    KVMem-llama.cpp



    下载 KVMem-llama.cpp跑Ternary-Bonsai-2-27B PTQ1 就可以 最大上下文好像可以开到200k

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐