公司想部署本地模型用来写代码，这个预算能部署点啥模型呀

我不是坏桃 2026-07-09 14:53 1

如题，公司最近准备在本地部署大模型用来开发（主要是C语言和零星java），预算大概30w,目前是准备买两张 RTX PRO 6000D 。领导说让我试试qwen3-coder看咋样，于是我就coding了一会

结果不出我所料

若依项目都给我干崩了，想问问佬们有没有啥好用点的模型

我极力推荐GLM的订阅，奈何领导说数据比较敏感

最新回复 (15)

n 07-09 15:01

1楼

只有glm kimi minimax mimo等国内公司的企业订阅是满足你需求的，贵是真的贵，企业套餐按照api价格算的，有法务合同
HeriX 07-09 15:04

2楼

如果不是因为保密性必须使用本地模型的话

建议还是使用各家的大模型接入吧

这个预算本地跑，模型智商不够，速度慢，基本没多少并发
WThor 07-09 15:06

3楼

30w不用考虑本地部署了，几十B的有啥用处，SM120的话主流推理框架也不支持了，还是算了吧
sczerg 07-09 15:08

4楼

PRO 6000目前是最高价，感觉并不是很值，如果真要自己部署，考虑一下租用GPU开本地模型。
zhetao 07-09 15:08

5楼

就算能部署，并发也扛不住呀，不如买coding plan，专业的人干专业的事，有些公司就喜欢宏大叙事造轮子（没有恶意攻击）
阿躺 07-09 15:10

6楼

我们本地部署的qwen3.5 有时候想给它一锤子
我不是坏桃楼主 07-09 15:10

7楼

多谢佬，我也是这么想的，我去了解一下
我不是坏桃楼主 07-09 15:11

8楼

也考虑过，看了看价格就放弃了 ^-^ 感觉公司想花小钱办大事
我不是坏桃楼主 07-09 15:14

9楼

没毛，我想的是订阅省钱省事，可能这个做成了也算是领导业绩吧
zhetao 07-09 15:16

10楼

买台黑盒亮机卡的pc，套一个sub2api，接codingplan
null 07-09 15:19

11楼

30w还是别想写代码了，部署个弱鸡客服可能差不多，想性价比去找找有没有靠谱的二手mi250x 128g的渠道，30w应该还能买几张装个量化的glm
我不是坏桃楼主 07-09 15:24

12楼

牛福

我就怕一年后老板拿着电费账单问我哪买的这么省电的卡 ^-^
z7y 07-09 15:31

13楼

领导们也只是想响应上面的号召，显得自己一年到头没那么闲，至于这个模型强不强能不能帮到员工干活，那不是他的事情
sug 07-09 15:39

14楼

我有朋友买了5台dgx spark，然后可以跑glm5.2，nvfp4量化有1m上下文，实测下来效果很好，花了两百块去调用官方api，还有用fp8三个进行了测试，基本上没差，fp8就是上下文只有128k而已，如果真要弄的话楼主可以参考下
肉山大魔王 07-09 15:40

15楼

预算增加10倍上B200吧，30W 够用个毛，还不如买cc或者gpt