2. Linux.do
  3. 试一试完全无审查版本的Qwen3.8-27B

试一试完全无审查版本的Qwen3.8-27B

浮笙若有梦 2026-08-19 11:14 1

使用Ubuntu22.04的Linux主机。只有一张4090 24GB的显卡。使用llama.cpp部署huihui-ai/Huihui-Qwen3.8-27B-abliterated 版本的模型，使用Q4_K_L量化版本。

最新回复 (9)
  • 浮笙若有梦 楼主 08-19 11:16
    1楼

    跑起来了。速度还行 40+token/s

  • 人字拖 08-19 11:21
    2楼

    这个配置能有多少上下文空间，我也有张差不多的

  • 祇想一生跟你走 08-19 11:22
    3楼

    应该是8k 一问一答，只能当玩具

  • 浮笙若有梦 楼主 08-19 11:24
    4楼

    只开了32K上下文。等下试试更大的上下文

  • second_do 08-19 11:27
    5楼

    我用的A5000，也是设置的32k

  • 人字拖 08-19 11:32
    6楼

    刚刚看其他佬友，一样的配置开到了254K上下文，不过他那个机器有128内存

  • 浮笙若有梦 楼主 08-19 11:33
    7楼

    64K也可以跑起来。让他写一篇小黄文试试。。 ^-^

  • COME BABY 08-27 15:17
    8楼

    在哪里可以下载这个模型？

    给个网址，谢谢

  • elliott 08-27 15:18
    9楼

    llama.cpp部署huihui-ai/Huihui-Qwen3.8-27B-abliterated 版本的模型



    llama.cpp部署huihui-ai/Huihui-Qwen3.8-27B-abliterated 版本的模型 答案在题面上

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐