2. V2EX
  3. 太爽了,用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

太爽了,用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

newzors 2026-08-19 16:22 1

我的笔记本是 T550 4G,32G ，用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf
跑起来太爽了，做一些普通的文本生成很棒！！！但是上下文 4096 太小了，增加参数好像也不行，不能用于 DSH ，有没有别的办法？外挂 GPU 么，有没有便宜的办法。

最新回复 (5)
  • snachx 08-19 16:36
    1楼
    试试新的吧，2.5 应该进故纸堆了
  • lancelock 08-19 17:06
    2楼
    这模型也太老了吧
  • veni2023 08-19 17:49
    3楼
    现在不是 3.8 了吗
  • cowcomic 08-19 17:52
    4楼
    换 qwen3.5-9B ，int4 量化也能跑起来
  • newzors 楼主 08-19 18:05
    5楼
    @cowcomic 谢谢这位兄弟，我下载看看
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐