需要购买国产显卡本地部署大模型，哪家的比较好

有没有有经验的老哥

摩尔 s5000 的 8 卡整机

昇腾 910B2

@Jiajin 不仅难用，而且马上就要被淘汰

这么厉害的预算，是啥应用啊

最合适的是 PPU 1 代，16 卡。 最近涨价了预算不知道够不够。
PPPU 2 代，刚发布，8 卡，能买得到应该是最佳。
考虑昇腾系列的前提是，你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ，或者财大气粗让华为的工程师驻场。

最近公司也有这需求，预算差不多，想部署 deepseek v4

@cocogovern 这预算算少的了

@DeYiAo 昇腾问题很多吗？

除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的

没经验不推荐国产显卡部署，坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司，直接上门安装包售后那种。

@skuuhui 信创没办法

国产显卡性能差，你即使部署了本地大模型效果也远不如网页版的能力，只能说不清楚需求。

不知道你要部署什么模型，但是现在模型出的这么快，从尽可能支持最新的模型的角度来说，选显存大的，卡内带宽高的（ 200W 也做不了多机互联），厂家支持到位的；符合前面三个条件下，选支持 FP8 ，最好能支持 MXFP4 的；这些都满足的情况下，选省电的，便宜的，能稳定供应的

@Clannad0708 政府项目就这样，领导跟风拍板，最后往往草草了事，样子上说的过去就行。

这种部署最终都是浪费掉的，说实话

哎
信创

@cpper 整条线上的人赚钱了，😃

微内核

有经验的老哥可以合作

看显存和带宽，合适就买

@Flagship9945 因为可以收回扣的

@Flagship9945 并不是他们蠢所以拍屁股做的决策，而是因为可以收回扣，有利益

我测过几家的显卡只能说阿里的 ppu 还是能用的,其他的都不太行.尤其吹的锣鼓震天响的华为.

政府项目不要瞎搞，你想部署哪个模型，联系对方咨询软硬件环境，人家也乐于多几个样板工程

纳税人的钱就这么被烧掉了

国产都有哪些 GPU ？华为昇腾、天数智芯，还有哪些，海光好像也有

如果现在上项目，那必须是昇腾 950dt ，fp8 都不错了，反正有技术支持，其他几个厂都要慢的多，如果你说自己玩，那还是 ppu ，cuda 生态容易点

有信创要求，你的选择也就这九个，你可以了解一下平头哥，据说比华为的坑少一点，https://www.itsec.gov.cn/aqkkcp/cpgg/202605/t20260526_259396.html

国内的卡基本都是偏科的，建议先去云服务上租不同型号，把自己的 POC 跑通。

这东西不是只需要考虑一上指标吗？哪家有利润要哪家的

@songray 有国产卡云服务租的渠道吗？

@abel533 有，华为云和阿里云就可以租到两家对应的型号

@Jiajin 这东西只有理论算力。。。实际极难发挥

@cpper 又不是你口袋里的钱，有啥浪费不浪费的。哪怕外企里买了 H100 部署，你能保证大部分情况下，不是浪费么？

@DeYiAo 武汉某高校去年 4000W 用在昇腾身上，技术支持都远远跟不上

@skuuhui 麻烦推荐几家？最好有武汉的，要真正技术实力强的

我们信创项目都用的昆仑芯 P800 只能说不太好用

看了好多评论，果然是殖人思想。难道一辈子都要受制于别人吗

用过海光、昇腾、平头哥。昇腾自建生态加上文档稀烂，体验就是一坨。另外两家 cuda 上能跑的代码随便改改就能跑起来，但比起 n 卡来性能和体验还是要差不少。

总有些人以为是在创新和防止卡脖子，其实背后全是利益和勾兑

@xiaomushen 我每年个人所得税交几十万，还不能关心下蛀虫浪费税收了？

有些人揣着明白装糊涂，信创都是些什么东西心里没点数吗

产品选型，不涉及其他的～～

@xiaomushen 外企就是把买的卡扔到水坑里都无所谓，只要不是花的税收的钱。但信创的那些单位花的钱来自于哪里你心里没数？

网上不是爆昇腾 910b 、910c 都是 TSMC 代工的 7nm 么（算能科技发包），工艺品控应该可以，就看你这边部署能不能适应软件生态了

七彩虹🐶

@songray #33 这两家找过多个入口，都看不到能选 GPU 的地方。。想从头在一台机器部署大模型测试，方便提供一个选择型号的入口界面吗？问过 AI ，说有，根据步骤走不通。

阿里 平头哥

昇腾 910c 部署 deepseek 遇到了一个 bug ，直接影响使用，还是要谨慎些。
https://github.com/vllm-project/vllm-ascend/issues/9170

@abel533 华为云选购买弹性云服务器，区域选华北三。

找不到是因为限购，要用公司的账号找客户经理申请。

平头哥也有坑，vllm 镜像只能用内部分发的，启动之后模型时不时出现各种问题（循环、无法调用 tool 、思考链无法控制、答非所问等等）

@songray #51 切换不同区能看到带 GPU 的机器，都是 NVIDIA Tesla ，没有国产卡。想适配国产卡很难，卡也不好买。

阿里华为我这边都做，部分卡要后台申请开白才能看到，有兴趣可以聊聊
v：dmzzx123

@xiaxichen 因为 ppu 阿里自己也在吃狗粮，nv 的卡不够，qwen 大规模使用 ppu

@abel533 #53 你要联系销售沟通，现状是卡不够，不卖散户的

如果是有特定的项目，而不是单纯的部署算力需求，我建议你找一家，做成产品，单兵化的设备，他封装好。这样你不需要解释里面是什么牌的算力。。。

昇腾，kunlun ，ppu ，海光，燧原我都适配过，说实话纯粹就是浪费纳税人的钱，适配这些东西你的狂躁程度会高的离谱，各种你想象不到的问题，而且也没有渠道解决。
比如 kunlun ，他们的 vllm 还是基于 0.15.x 打补丁的，很多新的模型都不适配，然后有些量化的 config 也没有人写，但自己改吧改吧也能用。
昇腾是纯垃圾的骗钱玩意，我都不知道这东西他们自己有没有测试过，对着官方文档都起不来。他们那个 mindie ，cicd 肯定是没有的，上个版本还能跑的东西新版本就跑不了了，硬件也垃圾，动不动就掉卡，买这个就是纯粹给他们当免费测试当小白鼠。

@cpper 关心就关心呗，那你能说服北京那边，要求信创单位购买 N 卡么？

@cpper 信创不见得是蛀虫，而是属于没办法。要么让我国放弃国产化诉求，放弃和华盛顿对抗。要么只好捏着鼻子用现阶段的信创产品。有啥办法呢？

反过来说，谁不想用 N 卡呢？

@elehayym1618 昇腾的理论算力只能用在静态图上，比如 TensorFlow,Yolo 上。对付 LLM 这些动态玩意儿，真的无解

@elehayym1618 #58 老哥有兴趣加微信吗，后续有机会可以合作。

910B 单机 GLM5 Q8 只有 20tps

@zcj920 20 tps 也太离谱了

平头哥 PPU 好点 但也一堆问题，还必须阿里工作人员去适配模型，自己目前拿不到测试服务器去适配

@xiaxichen GLM5 ，MoE 744B ，激活 40B ，Q8 部署，单卡显存倒是能满足了。这速度嘛。。。很符合昇腾的实际表现

@xiaomushen 那还有啥用 都不如直接买充钱买 api 了

200W 还是买 token 吧，这点钱不够硬件厂商技术支持费用的，新模型出来打算自己 debug 吗？

@xiaxichen 涉密单位不允许连外网呗

@xiaomushen 我看阿里云有那种 tokenplan 企业版说是不用回答作为训练数据 这种单开 url 通过应该可以吧

@xiaxichen 没用，涉密单位不能连外网，物理隔离的。所以才需要本地信创算力。
真的是一言难尽啊，再说了，正规渠道层面，老美也严禁出售计算卡给那些单位，抓到后，全球追捕全链路经销商，也是神经病。。。

感觉这个帖子的讨论很有价值

昇腾 910B2 、海光 K100AI 都用过，推荐昇腾 910B2 。950 我不推荐是因为你 200 万买不了 8 卡

910B2 是能用的。勉强能用的那种。

别说国产了，玩 AMD 用 ROCm vLLM 也是差不多的体验

@elehayym1618 kunlun ，确实是一坨！文档压根走不通！