有没有自建AI推理服务器的佬，150w买什么样的服务器合适？

月亮大大滴 2026-08-06 09:58 1

公司领导给批了150w的额度去买服务器，打算建一个AI服务专门用于处理公司内部事物。他的想法是能跑多大的模型就跑多大的模型，保证数据不泄露。我看了一下，这150w很难配，要不就配两台RTX Pro 6000D 84g的服务器，但是这无法串起来跑如GLM5.2，Kimi k3这样的模型。买一台吧，又不够钱买H20这样服务器。

我也考虑国产，华为910C应该是勉强能买到，但是他又不支持CUDA生态，然后跑不了原生FP4的模型，最新的昇腾950支持cuda生态，不过现在都还未正式大量上市，更买不到了。其他的只了解过阿里的，他们报价更高，也不够钱买。。。。

现在就挺尴尬的，我的想法也是最好只买一台，显存越大越好，宁可慢一点都比跑不动强，佬们有这方面的经验么？请佬们指导一下我

最新回复 (16)

大大怪 08-06 10:00

1楼

不知道买什么，但是部署模型你优先考虑DeepSeek。
Rayn_V 08-06 10:01

2楼

两台 RTX Pro 6000D 84g 的服务器

两台目前也就20w左右吧， 150w我觉得是不是至少可以部署个v4 flash了，pro版肯定不行，flash应该是可以了
hoa 08-06 10:02

3楼

910c建议换一下其它的，适配还没有那么好
dreamya 08-06 10:06

4楼

触及到知识盲区了，有佬解答的我也来蹲一波，学习佬们经验
wthothw 08-06 10:08

5楼

910C可以，vllm-ascend社区对开源模型的适配很快，模型用华为自己量化的w8a8、w4a8，单台910C，运行glm5.2 w4a8可以到1M上下文，w8a8可以到64k上下文。如果不着急买，可以等等华为950、阿里的890、沐溪c600、海光的bw1100，等到明年估计都能到200万以下。还有，可以看看阿里的810，1.5T显存，预算加到200w，大概可以拿下，这个确实不错。
月亮大大滴楼主 08-06 10:08

6楼

一台8卡，75万内能搞定，不可能一个服务器一张卡啊，肯定都是8张卡插满
Rayn_V 08-06 10:21

7楼

那就是接近1344G的显存了，可以跑量化的v4-pro了吧，其实rtx pro 6000是挺好的，但是现在真的太贵了，这个网址可以参考一下，估算一下需要多少显存，再结合加个对比一下

LLM推理显存与GPU需求计算器
perryhe 08-06 10:31

8楼

凑巧我们公司用的就是Pro 6000，96GB的，目前四张卡部署deepseek-v4-flash，1M上下文，速度起飞，佬你这预算部署4-5个flash完全不是问题，我们2卡也可以部署，只是没有1M上下文。

我觉得Pro 6000已经算是性价比之王了，当时之所以选择这款也就是看好他是Blackwell新一代显卡，fp4有加速，加上一张有96GB，我记得当时好像是一张H200的价格都够买三张Pro 6000了，还是Pro 6000香。

我觉得你要冲着显存去，那就买Pro 6000吧，只是没有nvlink确实多卡效率会低一些
月亮大大滴楼主 08-06 11:52

9楼

感谢佬，作用很大，我打算你提到的每个都去问下
月亮大大滴楼主 08-06 11:58

10楼

现在的96G版贵到起飞，性价比很低，一张96都差不多能买2个84G的版本了。我觉得还是找一个大显存的吧，这样以后再有更大的模型也能撑住。如果不能英伟达那就打算国产了，毕竟现在国产是未来，现在凑合能用
vvvcf 08-06 14:19

11楼

我们现在也是这个配置，你们是用啥本地部署的呢？想学习一下
perryhe 08-06 15:35

12楼

我们现在用的docker hub的镜像， voipmonitor/vllm:fathomless-firmament-ds4-v10-vllmadf15ca-b12x90172a5-fi2cba2f7-cu132-20260712，佬友可以参考一下
vvvcf 08-06 15:47

13楼

vllm:fathomless-firmament-ds4-v10-vllmadf15ca-b12x90172a5-fi2cba2f7-cu132-20260712

感谢感谢，我现在去试试。原始的vllm一直报错
go2hero 08-06 20:51

14楼

75W的价格够呛吧，8张6000d 84G，内存不得搞个1T，再加上其它杂七杂八
yangjin9562 08-06 20:54

15楼

花1W买个VPS，剩下的冲deepseek，速度快，性能高。
igg8 08-06 20:55

16楼

买一台128GB内存的，自己部署中转（10万的硬件），10W充值中转站，什么模型都有。剩下的自己拿