2. V2EX
  3. H100*2 本地部署大模型求助

H100*2 本地部署大模型求助

Lekou 2026-10-15 09:53 1

手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。


目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。


主要用途：
1.本地 agent 调用
2.部分编码工作
3.rag 问答

最新回复 (10)
  • hutoer 10-15 10:01
    1楼
    试试 Qwen3.8-Flash-Next ?
  • lovelyxiaod 10-15 10:02
    2楼
    qwen3.8 27B 都是大材了吗, 我们自己部署的 qwen3.8 flash next 版本好蠢啊.

    后来改用 deepseek-v4.1-flash 了.

    这个模型真的能胜任编码工作吗?
  • zhuanggu 10-15 10:06
    3楼
    @lovelyxiaod 他指的硬件大才小用
  • Lekou 楼主 10-15 10:13
    4楼
    @hutoer 跑不起来吧，有推荐的部署方案嘛
  • hutoer 10-15 10:17
    5楼
    @Lekou 用 Strata 部署
  • hutoer 10-15 10:19
    6楼
    @lovelyxiaod strata unsloth iq4_xs ，我简单玩了下，编程还行的。
  • Lekou 楼主 10-15 10:24
    7楼
    @hutoer Strata iq4_xs 这种适合折腾不太适合生产吧，之前考虑过 Qwen3.8-Flash-Next-FP8
  • hutoer 10-15 11:15
    8楼
    @Lekou 没有深度用过，我本来就是玩玩的。
  • Gnnbb 10-15 14:17
    9楼
    我们 4 块 pro 6000D 的卡跑的 qwen3.8 27B 。。。
  • TSNEZHJ 10-15 14:28
    10楼
    推荐个网站，之前找过，不确定适不适合你的生产环境
    https://llmconfigurator.com/zh/best-models
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐