2. Linux.do
  3. 7张A100 部署什么模型最合适？

7张A100 部署什么模型最合适？

Loong 2026-09-11 16:03 1

公司采购的新服务器，7*A100 80G，打算本地部署大模型，用来做标书生成，知识库问答，最好也能vibe coding，部署什么模型合适？

最新回复 (11)
  • pineapple 09-11 16:04
    1楼

    目前看等dsv4.1f开源

  • 间窗(Vinto) 09-11 16:04
    2楼

    （帖子已被作者删除）

  • shyrock 09-11 16:05
    3楼

    560G？好像卡在了ds4.1f的边缘上，不知道能跑起来不。。。

  • lzy 09-11 16:05
    4楼

    4.1不是588B来着，够吗

  • 若可 09-11 16:08
    5楼

    7张而不是8张吗？应该实际上只能用4张，TP 之类的多卡部署切分是要能整除的。

  • tukjet 09-11 16:20
    6楼

    。。。为啥是7张？你tp怎么切。。。4+2+1？部署3个不同大小的模型？

  • Loong 楼主 09-11 16:24
    7楼

    目前是这么打算的 七张是因为涨价导致的,本来是八张的…

  • tukjet 09-11 16:42
    8楼

    hhhhh，和我一样，我申请的预算是8卡pro6000的，结果批预算花了4个月。涨价涨的2卡pro6000都够呛了

  • 若可 09-11 16:44
    9楼



    并非不需要，目前就是要整除才能起服。


    这么看来 L 站的这个 boost 也不方便，没法直接回复。

  • bfloat16 09-11 16:47
    10楼

    最多dsv4flash，上下文能开256k，开1M会CUDA OOM

  • Loong 楼主 09-11 16:48
    11楼

    A100 本身并不支持 FP8 Tensor Core。好像没办法直接部署DS和GLM,GitHub上有分支版本，但是不知道是否靠谱 。GitHub - yunyinbanfu/deepseek-v4-flash-0731-sm80: SM80/A100 support package for DeepSeek-V4-Flash-0731 on vLLM · GitHub，七张确实感觉很抽象。。。。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐