【分享】两张V100（16G）跑千问3.8-27B的最优命令

分享一下我的命令，也许并不是最优，但是也是我目前调到最优的状态。欢迎大家提出更好方案。

#!/bin/bash



nohup ./build/bin/llama-server \

    -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \

    --parallel 1 \

    --ctx-size 262144 \

    --cache-type-k q4_0 \

    --cache-type-v q4_0 \

    --flash-attn on \

    --split-mode tensor \

    --spec-type draft-mtp \

    --temp 1.0 \

    --top-p 0.95 \

    --top-k 20 \

    --min-p 0.0 \

    --presence_penalty 0.0 \

    --repeat_penalty 1.0 \

    --jinja \

    --chat-template-file /mnt/data/llama.cpp/qwen3.8.jinja \

    --reasoning on \

    --reasoning-preserve \

    -fit off \

    --cache-ram 1024 \

    --host 0.0.0.0 \

    --port 4086 \

    --n-gpu-layers 999 \

    --chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \

    --log-file run_Qwen3.8-27B-GGUF-Thinking.log \

    > /dev/null 2>&1 &