2. Linux.do
  3. 请教大佬们企业自部署模型方案

请教大佬们企业自部署模型方案

Efar 2026-10-14 08:11 1

如题，公司内部有些数据比较敏感，并不是纯粹的代码、身份信息等那些数据。但领导想要在日常工作中引入AI，进行提效，比如可以用AI整理数据报表，分析结果等。

目前使用的是官方deepseek api渠道，但还是有些顾虑，担心数据被蒸馏泄露啥的。

所以想要自部署模型，大概400多人使用（不是400并发），由于自己缺乏这方面的经验，前来求经验方案。


我们目前的场景是用自研的agent，接入AI，然后去操作我们内部的管理后台数据

最新回复 (19)
  • xufengzhu983 10-14 08:14
    1楼

    坐等大佬的部署方案，我也有类似的需求，先占个座，来学习一下。

  • 老文 10-14 08:14
    2楼

    400个人那么至少并发是40，设备，预算多少？？

  • Efar 楼主 10-14 08:15
    3楼

    目前还没这些，领导让我先整理方案，我也不知道咋整理 ^-^

    一点经验都没

  • 北辰Glasden 10-14 08:15
    4楼

    400人, 按峰值50人同时用的话(实际感觉不止), 每个人少说20tps吧, 这个感觉不是拍脑袋就能部署下来的规模啊

  • 老文 10-14 08:16
    5楼

    你去找一些卖算力一体机的，如果你们用ds的api，那么就按照ds 4.1 flash 的API 来算，至少40 并发，50 token /s

  • Grogu 10-14 08:17
    6楼

    需要先给个预算，现在 RTX6000 大幅涨价，已经不具备性价比了，预算充足可以考虑 GB300

  • JARK006 10-14 08:19
    7楼

    得看预算，少数人使用时，我感觉目前性价比最高就是 strata 跑 qwen3.8-flash-next，虽然模型能力不算顶尖

  • Efar 楼主 10-14 08:21
    8楼

    大佬，如果用mac mini去部署的话，成本是不是会更高

  • Grogu 10-14 08:22
    9楼

    不会，只是性能更低，不适合作为服务使用

  • leaderlemon 10-14 08:23
    10楼

    你了解下dgx spark和他的oem版本，这应该是一个选择，但是你要这么高并发得整不少了

  • youngman 10-14 08:23
    11楼

    整个循序渐进的方案嘛，先按最小使用人数使用起来，部署起来。或者第一步哪怕是先跑起来自己用呢，浏览 300+ 本地推理 AI 模型 | Will It Run AI 找个模型点进去可以看到部署要求，后面人多了就开堆算力堆硬件呗

  • mjjs 10-14 08:23
    12楼

    先有专人脱敏吧 维护一个400人使用的，更麻烦吧

  • imdingji 10-14 08:23
    13楼

    关注一下，但是这个需求，400人，要求不低吧，尤其是上下文一长的话对配置要求更高，感觉要百万级的设备

  • 天梦 10-14 08:24
    14楼

    你公司这规模，就算400人里只有100人同时用，能撑得起这个算力的卡也很少啊^-^多卡组么？怕是预算要的不低

  • Rayn_V 10-14 08:26
    15楼

    LLM推理显存与GPU需求计算器

    看一下这个，用这个可以大概估算一下

  • leaderlemon 10-14 08:29
    16楼

    目前我自己部署在4台spark的deepseek v4.1flash 可以到做散文单流7～80tps 多流200＋tps 多并发单流会下降到30～40tps一流 上下文看需求可以调整目前我是600k上下文，权重量化程度对标官方混合量化，不是那种q1～q3的精度。(两台部署的glm5.3f exl3 fp4～fp8的 在单流40～60tps，多流应该有一百多)


    这个方案适合小团队用

  • leaderlemon 10-14 08:34
    17楼

  • coho 10-14 08:53
    18楼

    然后去操作我们内部的管理后台数据



    这一点的话，是单纯的查询，还是需要说进行 页面接口的操作呢

  • Efar 楼主 10-14 08:56
    19楼

    以查询为主，就是比如要查询一些合作商信息、一些合同协议内容等等敏感数据，走的是页面接口，但需要让ai去分析数据，比如哪个合作商合作期限快到了

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐