SGlang A2x4 部署 DeepSeekV4 Pro 交流帖【后续放测试报告。】

NeoJ 2026-06-19 20:22 1


  1. Sglang vs VLLM 吞吐差异。

  2. Sglang 针对910b2集群模型支持情况,目前看到的是W8A8类型,好像不支持w4a8。

最新回复 (1)
  • 斓曦未央丶 06-20 21:44
    1

    sglang部署DeepSeek V4 Flash 思考的内容没法分离怎么解决啊 好苦恼

    vllm就没这个问题 在H20上

* 帖子来源Linux.do
返回