2. Linux.do
  3. strata确实夸张

strata确实夸张

司马老贼 2026-10-03 20:45 1



双卡nvidia a6000 48g，没有nvlink，每张卡分别部署了一套qwen 3.8f q4。

让astra自己写了个负载均衡的管理系统，速度不错啊。

希望后续能跟进别的模型 ^-^。

最新回复 (4)
  • lemos 10-03 21:36
    1楼

    q4 够用吗？

  • 司马老贼 楼主 10-03 21:45
    2楼



    画了只鹈鹕感觉还行啊，claude desktop画的

  • 小风小浪 10-03 21:48
    3楼

    用的哪个量化？

  • 司马老贼 楼主 10-03 21:52
    4楼

    Unsloth 的 UD-Q4_K_XL 混合量化

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐