2. Linux.do
  3. 老板打算本地部署 LLM 给大伙用? 是你会部署什么?

老板打算本地部署 LLM 给大伙用? 是你会部署什么?

疯王伊里斯 2026-06-12 13:39 1

你会选择什么 LLM? 参考的依据是什么?


老板要给个方案和对比.


有没有有经验的大佬指导一下.



补充一下最可能的场景: 大概30-50人使用, 用于开发编程

最新回复 (19)
  • dorian111 06-12 13:41
    1楼

    Gemma4, 新啊，知识库和最新架构，遵循用新不用旧

  • 疯王伊里斯 楼主 06-12 13:42
    2楼

    这么说老板不懂呀, 要能拿出来说服的证据

  • hwang 06-12 13:45
    3楼

    满血DeepSeek-4-pro 走你

    成本？什么成本？

  • dorian111 06-12 13:45
    4楼

    “本地部署LLM给大伙用”,要是这种需求的话，本地部署就是个伪命题，最大的缺陷且无解的就是上下文，除非特别的特定领域问题还行，不然还是买api服务或订阅

  • 疯王伊里斯 楼主 06-12 13:48
    5楼

    意思是本地部署 LLM 给团队使用的体验是不好的吗?

  • agi_is_coming 06-12 13:49
    6楼

    肯定是支持多模态的kimi 2.6。


    不需要多模态就glm 5.1/deepseek v4 pro

  • 用户已注销 06-12 13:49
    7楼

    你要看你们的使用场景，还有成本的承受能力，还有人员使用的个数，业务场景对token并发数的需求等等。


    没有明确这些，很难去做出来合适的方案。


    单纯从性能讲，肯定就三家考虑的：Gemma、DeepSeek、Qwen（都看最新版，按照我心中的顺序来的）

  • NumPy 06-12 13:49
    8楼

    当然不是体验不好，有不限量卡的情况下体验自然比买什么token plan要好，

    但是从来没有什么不限量卡

    有的是有限的预算和无限的期待

  • thelamb 06-12 13:50
    9楼

    再加，首字token不能高于10秒吧，输出也不能太低5-10token/s，团队内并发5。

    按这个配置来

  • ZhouMo 06-12 13:50
    10楼

    部署一个能用的本地大模型还得多人用，如果体验要说得过去这个价格一个月折下来都得十几万甚至几十万。不如买api

  • wublub 06-12 13:51
    11楼

    我认为deepseek是肯定的

  • 疯王伊里斯 楼主 06-12 13:51
    12楼

    30-50人使用, 场景应该是开发编程

  • 疯王伊里斯 楼主 06-12 13:51
    13楼

    用闲置的 gpu 呢? 就是不知道需要多少 gpu

  • dorian111 06-12 13:52
    14楼

    满血DeepSeek-4-pro



    能部署跑起来，和能很好的用，是两码事，能很好的人和满足很多人高效的用又是两码事；

    说个baseline, 两台A100 *8k，跑一个会话长上下文都不一定能hold住，况且你们多人呢；当然，你们如果都是4k之内使用(太监版使用)，那就无所谓了

  • 用户已注销 06-12 13:52
    15楼

    如果是非涉密场景，同等使用体验的情况下，自建不如买。

  • Autsun 06-12 13:52
    16楼

    这个模型应该不是问题，设备和预算才是问题，有了设备，你自己部署随便部署什么都可以，切换很快的

  • jennifer 06-12 13:52
    17楼

    如果自己个学习研究人用，可以节省成本

  • a12908 06-12 13:54
    18楼

    GLM吧 代码能力上基本无疑问是在v4之上的

  • dorian111 06-12 13:58
    19楼

    美国国防部的规格，部署claude, 至少上千台服务器吧 私有化部署，当然还仅供内部局域网使用，加上安全审核、穿透、合规啥的，几亿$吧，当然这钱花的值，能为战术规划和后勤省一大把钱呢

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐