ai infra中科曙光海光DCU模型部署求助

月下清风蝉鸣 2026-09-15 19:41 1

公司有3台8卡的海光DCU K100_ai(单卡64G) 服务器,没有IB交换机,所以只能单台8卡部署,请问佬友们,这个配置除了部署qwen3.8 27B之外(限制于海光生态的vllm兼容版本),还能部署什么模型啊? ^-^

最新回复 (2)
  • dabao1955 09-15 20:00
    1

    qwen 3.8flash,精度低一些应该可以吧

  • chongxs 09-15 20:20
    2

    ds v4f 应该也可以跑的吧,咱都这个状态了,肯定也不会考虑大并发

* 帖子来源Linux.do
返回