2. Linux.do
  3. 有没有佬用2台dgx spark 部署dsv4f的

有没有佬用2台dgx spark 部署dsv4f的

Azrael 2026-08-07 16:12 1

公司买了2台dgx spark+专用的200G线，我这边现在有root权限可以操作，请问有没有佬成功用2台dgx spark 部署dsv4f的，求个教程。 主要是网上搜了下看不太明白，希望能佬能指路，最好是有 docker compose文件和对应模型权重的，谢谢

最新回复 (9)
  • Nul1_ptr 08-07 16:22
    1楼

    dgx spark



    油管和X上看到过，发现传到github了

    maliubiao/dgx-spark-2-deepseek-flash-0731: setup guide for deepseek-flash-0731 on two dgx-spark from scratch

  • shyrock 08-07 16:22
    2楼
  • Azrael 楼主 08-07 16:25
    3楼

    感谢佬，我去研究一下，看能不能直接跑起来

  • muffin 08-07 16:38
    4楼

    贴主到时候能发下自用感受如何吗？我蹲一下成功的反馈

  • Azrael 楼主 08-07 16:40
    5楼

    可以，我先看下能不能学着这个教程跑起来，实操起来还是比较麻烦的

  • Crain 08-07 17:08
    6楼

    放到docker里面真的不会有性能损耗么

  • EricJ 08-07 23:21
    7楼

    这玩意我起一个 1.3B 的模型整个系统都会卡死，不知道为啥 ^-^

  • Azrael 楼主 08-07 23:36
    8楼

    可能是镜像版本或者模型量化版本不对，我这边目前跑的qwen一切正常。



  • EricJ 08-07 23:41
    9楼

    应该是我的代码写的有问题，我这个模型暂时不支持 vllm，sglang 这些加速库^-^

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐