2. NodeSeek
  3. 自己能买到的跑 760B 模型，输出 30token/s的主机能买到啥

自己能买到的跑 760B 模型，输出 30token/s的主机能买到啥

hallfay 2026-06-17 16:35 1

自己看了下，跑FP8的glm，需要的显存是 760G 左右，速度30TOKEN，因为激活参数40B,那么带宽超过 1.2T 即可，支持 1M 上下文，那么总计最低需要显存 880G 左右，国产最便宜的算力卡多少钱能部署下来，哪家的 算力卡是能让自己搞一个跑的呢

最新回复 (5)
  • czy 06-17 16:36
    1楼

    760B？

  • YouShi 06-17 16:36
    2楼

    富哥，不知道哎，目前国产好像就deepseek适配了华为的显卡，华为显卡便宜些。glm可能没适配华为

  • Square-circle 06-17 16:39
    3楼

    目前国产不存在吧，而且880G还要考虑多机联通，还有散热，这个感觉基本不可行

  • huqapo 06-17 16:44
    4楼

    @Square-circle #3 只有DeepSeek可以

  • taffymeow 06-17 16:49
    5楼

    如果人少用 可以试下CPU+d5内存跑 fastllm和kt

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐