2. V2EX
  3. 公司私有化部署大模型

公司私有化部署大模型

SoulSleep 2026-07-25 21:25 1

公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。


从技术的角度讨论下看，这个事还能继续走下去吗？


已知的问题：
1.不如云厂商提供的模型兼容性好
2.偶尔还有 bug ，比如 tool call bug
3.这个预算碰到 k3 这种模型根本部署不起


还会有什么问题？你怎么看？

最新回复 (8)
  • jacketma 07-25 21:28
    1楼
    部署哪家的大模型，可以找官方支持服务啊，人家包你调试的
  • demonvinc 07-25 21:34
    2楼
    几千万 K3 还是够的
  • wombat 07-25 21:41
    3楼
    从模型参数看，和 K3 相比，GLM5.2 私有化部署性价比更高，已经满足日常使用的需求。K3 ，看公开的使用体验，并没有高出很多。 tool call 的问题，GLM5.2 应该少了很多。问题不大。
  • wombat 07-25 21:45
    4楼
    @wombat B300 ，1300W 左右。 经费够，采购这个。
  • superkkk 07-25 22:03
    5楼
    H200*8 或者 B300*8 吧，买机器的钱够冲 token 用 10 多年估计没问题
  • tolbkni 07-25 22:04
    6楼
    同楼上，这个预算能搞 B300 搞 B300 ，然后跑 GLM5.2 不比 K3 效果差多少，但对显存要求低了很多
  • isbase 07-25 22:31
    7楼
    这技术上当然没毛病 大公司基本上都有自己的私有化 AI 云
  • Atma 07-25 23:08
    8楼
    自己部署一部分，然后购买厂商的一部分，分级使用
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐