2. Linux.do
  3. A800 80G卡 8张可部署什么模型实现不错的coding

A800 80G卡 8张可部署什么模型实现不错的coding

JackBinary 2026-07-07 00:14 1

请问各位佬友，我有A800 80G卡 8张可部署什么模型实现不错的coding呢，有机会可以透出来给佬分享，要是coding 效果不错的话

最新回复 (8)
  • HugoYee 07-07 00:18
    1楼

    必须开源GLM 5.2啊佬，快点做大做强再创辉煌

  • 席乐 07-07 00:19
    2楼

    天！GLM5.2+DS4呀，开源的没其它可选了吧

  • LiuJiXin 07-07 00:19
    3楼

    部署不了吧，A100不支持FP8 和 NVFP4

  • HugoYee 07-07 00:21
    4楼

    A800 80G卡



    8张A800可以稳定FP8官版了

  • LiuJiXin 07-07 00:23
    5楼

    ^-^640GB显存，硬件不支持FP8的情况下，推理速度和显存峰值受限吧，400K上下文能开吗？prefill和decode速度呢？

  • HugoYee 07-07 00:26
    6楼

    还是佬专业啊 ，400k跑不起来应该最多256FP8应该得double

  • Ainoe 07-07 01:17
    7楼

    无量化的 qwen3.6-27b 吧， 可以 4 实例了。

  • Dextheking 07-07 01:21
    8楼

    You could try visiting this website! https://www.canirun.ai/

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐