2. Linux.do
  3. 佬们拿到几台超大杯的NV八卡GPU的机子自由研究会做些什么

佬们拿到几台超大杯的NV八卡GPU的机子自由研究会做些什么

hh 233 2026-06-22 10:53 1

加入了个模型团队，搞到了几台NV的 B300x8（单机2.2TB）以及GB300x4（1.1 TB）的server来做research（server内卡间是NVLink，server互联走的以太网，不考虑互联了）


这几天搭了很多模型来玩，GLM 5.2的fp8弄上了之后，好像并发也只能支持并行的batch=2的decode（？指的是 1M上下文满配情况下 只能热并发2


然后也跑了一些多模态模型，但是可玩度感觉有限，来问问佬友们有没有神们能充分利用机子的好玩点子

最新回复 (6)
  • 冷月映秋风 06-22 10:59
    1楼

    如果没有限制的话，跑涩图。涩涩是第一生产力（

  • hh 233 楼主 06-22 11:00
    2楼

    那必不行的 ^-^，小命要紧 这种事情不可以的

  • Mark 06-22 11:16
    3楼

    自建本地模型公益站给佬们狠狠蹬^-^^-^

  • hh 233 楼主 06-22 11:26
    4楼

    ^-^ 我要是用不完的话，之后可以试一下的，敬请等待

  • Zhwt 06-22 13:35
    5楼

    期待一下 如果是公益站的话200K上下文我感觉就能满足多数需求了 同时parallel还能再高一点

  • lilingfeng 06-22 13:41
    6楼



    自部署 GLM 5.2 FP8,8*B300，用起来还不错

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐