2. Linux.do
  3. qwen3.6-27b vllm部署 推理混乱

qwen3.6-27b vllm部署 推理混乱

qianye 2026-07-10 16:46 1

如题，测试下来是输出不稳定，小问题很多，表现为，不管关不关思考，有时输出会正常，有时输出会很短，有佬有解决方案吗

最新回复 (3)
  • Ainoe 07-14 23:58
    1楼

    建议换成 SGLang , vLLM 部署 qwen3.6-27b 如果同时开启前缀缓存 + mtp，目前会存在精度损失的情况。

  • WillLiang713 07-15 00:04
    2楼

    sglang 部署的 kv cache 会少七八十 k

  • miku 07-15 00:05
    3楼

    llama-server 跑的 Huihui-ThinkingCap-Qwen3.6-27B-abliterated.Q6_K 挺好使的，昨天才出的量化版本，提高思考能力，无审查

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐