2. Linux.do
  3. 私有化部署Ai coding

私有化部署Ai coding

JackBinary 2026-06-17 20:41 1

公司打算私有化部署大模型用于ai codeing ，大概支持50个人开发吧，不知道有没有大佬有这块的经验分享一下，主要想知道需要一个多大的算力资源，gpu 内存，模型初步想部署qewen3.7 max ，glm 5.2

最新回复 (7)
  • Ainoe 06-17 20:45
    1楼

    qwen3.7 啥时候开放权重了？

  • Ainoe 06-17 20:49
    2楼
  • zcx960 06-17 21:33
    3楼

    两台8xB200起步吧，不济也得两台8xh200，至少800万人民币起步吧

  • 爱琴炫彩 06-17 21:34
    4楼

    还不如买claude gpt会员。

  • 小丸子 06-17 21:37
    5楼

    佬的公司真的有这么高预算吗，能部署的起满血和高并发跑的起满血是两个概念

  • backlight001 06-17 21:40
    6楼

    他又不要训练，明显8卡pro6000性价比高，两台300个够了

  • Zeus Jie 06-17 21:44
    7楼

    我也很好奇 好像几百万部署一台 tps 也就 50

    怎么支撑 50 个人并发？

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐