2. Linux.do
  3. 【求助】自部署大模型方案求助

【求助】自部署大模型方案求助

张德帅 2026-08-27 23:46 1



各位大佬请教个硬件升级问题。

我们公司自研了一套智能体，现阶段一直调用千问云端 API 服务。出于数据安全合规要求，业务数据不允许出域，需要切换成私有化本地部署。


候选模型锁定两个：Qwen3.8‑27B、DeepSeek‑V4‑Flash。就目前手头这台机器来看，硬件跑 DeepSeek‑V4‑Flash 明显性能不足。想请教两个问题：



  1. 如果部署 Qwen3.8‑27B，现有机器需要做哪些升级？哪些配件优先更换？

  2. 如果要上 DeepSeek‑V4‑Flash，整套新机器的推荐配置是什么？

最新回复 (7)
  • acai 08-27 23:55
    1楼

    27b密集模型和大于35b的moe模型都算了吧，这cpu与内存太慢，配个24g显存gpu还勉强一点，现在这配置就算强行塞到cpu内存里也慢的离谱，预计每秒不超过5token

  • 张德帅 楼主 08-27 23:57
    2楼

    是的 目前的这套配置压根就跑不起来什么，所以在考虑升级或者重新配一套新的。

  • acai 08-28 00:03
    3楼

    3090起步吧，尽量多卡大显存，对cpu性能要求不高，内存大点快点就好了

  • ななひら 08-28 00:04
    4楼

    不知道你们打算给多少人用，人多的话只能上多卡服务器


    有几种卡你可以参考一下：


    v100 16/32g


    2080ti 22g


    3080 20g


    4090 48g


    5090/d 32g


    HX170

  • Zerouscn 08-28 00:26
    5楼

    不如先看看预算，多人用的话消费级卡跑起来是很费劲的

  • apparition 08-28 00:42
    6楼

    4090 48g

    5090/d 32g



    就这两个有搞头，但是费钱

    其他都丢掉，看都不用看

  • yucloud 08-28 00:42
    7楼

    群主86？公司太抠门了，多搞几个PRO6000，就跑27b

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐