2. V2EX
  3. 国内 GLM5.2 用 H200 机器可以部署标准版本吗？

国内 GLM5.2 用 H200 机器可以部署标准版本吗？

EastHorse 2026-07-16 15:08 1

领导告我说，使用 H200 ，每个模组 4 块 gpu 卡，2 个模组的话就是 8 块卡，模组与模组之间用 pcie 连接，没思路啊
为啥不用 NVLink 直接连 8 块卡啊？ 求指教

最新回复 (8)
  • demonvinc 07-16 15:38
    1楼
    PCIE 卡呗，现在 HGX 模组进不来。FP8 应该是可以的
  • namgking 07-16 15:55
    2楼
    H200 应该部署不了完整体，显存不足，完整的起码需要 2 个 8 卡节点
  • raycool 07-16 16:10
    3楼
    满血版需要两台机器 16 卡吧。
  • zlo309618100727 07-16 16:15
    4楼
    我也好奇，都 8 卡了，为啥不 nvlink?
  • arfa 07-16 16:19
    5楼
    8 卡为什么不 VNLINK,因为你买的是单张卡,只能走 PCIE 通道

    走 NVLINK,需要 HGX 模组,8 张卡,直接在 1 张主板上集成
  • podel 07-16 16:27
    6楼
    一张卡 141GB 显存。8 张 1128GB 显存。
    一张卡内存带宽 4T 多。跑模型完全够了。

    8 个卡直接连接 pcie 总线就行了。其他不管了。
    采用流水线并行模式。 可以加载 GLM5.2 8Bit 量化的模型。原版 98%的智能水平，完全够用。
    整个应该 20+并发没问题。
  • purerain 07-16 21:35
    7楼
    FP8 应该没问题
  • XenoGear 07-17 10:20
    8楼
    fp8+nvlink 可以 8 卡拉起来，要舒服点上下文最好是 16 卡
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐