2. Linux.do
  3. 本地模型推荐有无

本地模型推荐有无

自驾游 2026-10-03 01:07 1

电脑是24G显存，32G内存，想部署一个本地大模型，用于参加ctf比赛，有没有推荐部署的，是qwen27b还是其他模型。然后框架有没有直接现成的。求各位大佬解答

最新回复 (4)
  • 墨尘 10-03 01:08
    1楼

    qwen27b 塞不下的话试试bonsai 2

  • 咪叭 10-03 01:23
    2楼

    qwen 3.8 27b 吧


    用4bit量化版本就行了，简单上手的话就用llama.cpp

  • npc5200 10-03 02:12
    3楼

    qwen3.5 9B无拒绝，可以试试玩

  • PJ568 10-03 02:16
    4楼

    盆栽长任务太烂了，看它论文里除非都是数学类的 One-shot，都不推荐用。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐