Kimi K3 极速 100 tps 无审查版 自部署 8xB300

lz 近日捡了一台B300八卡。遂尝试部署 kimi-k3，试过 vllm 和 sglang。vllm 的比较稳定，sglang 的在上下文达到 14w 的时候会报 context overflow 的错误，可能是 manba 的空间没有预留好。而且 sglang 的 Dspark MTP draft，训练长度 ≤ 4096，在长上下文的情况下性能不好。

先是安装 vllm。注意，官方的 nightly 预编译版只有 aarch64 架构的支持，只支持 GB300/GB200 ？所以在 amd64 架构 的 8xB300 上，需要手动编译。用 vllm 的 kimi-k3 分支。

这里还需要打两个补丁

1. 
   

   flashinfer-python==0.6.15.post1，里的 ActivationType 里没有 Situ。Kimi-K3 的 MoE 用 SituGLU 激活。需要自己去编译 flashinfer 打了 SituGLU 的 PR。
   
   

   
   


2. 
   

   给 vllm 接上 is_private，即使 enum 里有 Situ，flashinfer 的 trtllm kernel 也只在#ifdef TLLM_GEN_LOCAL_CUBINS_ABI 里处理它，否则运行时报错，需要在调用 Situ 的地方 加 is_private= True 参数。

   
   

自用，并发开的不高的话，也不需要 lmcache，所以就没有加，LMCache 目前还处理不了 KDA 的混合缓存布局，等待适配，在 tp=8 时， mamba hidden state 是可切分的，然而 MLA latent KV dim 不可切分。

启动参数如下，注意，如果不加 top_p=0.95 的话，因为 vllm 的 Dspark 是在 temperature=1 top_P=0.95 下训练的，不加的话，由于 huggingface 提供的权重，generated_config.json 里没有 top_p 参数，vllm 会默认使用 top_p=1.0，导致 MTP accept length 只有 1.x 。

vllm serve "$MODEL" \

  --served-model-name moonshotai/kimi-k3 \

  --host 0.0.0.0 \

  --port "$PORT" \

  --trust-remote-code \

  --load-format fastsafetensors \

  --moe-backend auto \

  --gpu-memory-utilization 0.95 \

  --tensor-parallel-size 8 \

  --no-enable-flashinfer-autotune \

  --max-model-len 1048576 \

  --kv-cache-dtype fp8 \

  --attention-config '{"use_prefill_query_quantization":true, "mla_prefill_backend":"FLASHINFER"}' \

  --enable-prefix-caching \

  --enable-auto-tool-choice \

  --tool-call-parser kimi_k3 \

  --reasoning-parser kimi_k3 \

  --max-num-seqs 32 \

  --override-generation-config '{"top_p": 0.95}' \

  --speculative-config "{\"model\":\"$DRAFT\", \"num_speculative_tokens\":7, \"method\":\"dspark\", \"attention_backend\":\"FLASHINFER_MLA\", \"draft_sample_method\":\"probabilistic\", \"rejection_sample_method\":\"block\"}"

速度感觉还可以，自部署的话，性能比 glm 5.2 慢 1 倍，但也够用了。