2. Linux.do
  3. 有佬公司自己部署模型的吗？问问细节

有佬公司自己部署模型的吗？问问细节

doublechen 2026-06-24 13:52 1

很奇怪我h20x8(96Gx8)上deepseek v4 flash utilization 0.9 192k有时候会OOM，输出倒是挺快的，最高看到的是4000多/s，没具体测过，这最大上下文还能上吗？

还有一台机器是minimax2.7上的也是192k，我想要不要搞个q4量化的GLM5.2，但是模型单独就要占4-500G显存，感觉上不了多大上下文，能换吗？

万能佬友救救

最新回复 (2)
  • tikitoki 06-24 14:44
    1楼

    用的什么引擎？vllm吗？并发有没有限制？

  • xdtz 06-24 14:46
    2楼

    试试 GGUF 2-bit 的5.2？我看社区都是这个

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐