2. Linux.do
  3. 佬们，单位部门预算10w想本地部署Qwen3.8-27B模型，大概也就十几个人用，有比较好的方案推荐吗

佬们，单位部门预算10w想本地部署Qwen3.8-27B模型，大概也就十几个人用，有比较好的方案推荐吗

清皮同学 2026-09-14 10:56 1

目前的是我们部门跟单位抢卡，信息部那边部署的，用了一块A800，然后ld嫌有点慢，我看了下速度大概20tok/s，ld就想预算10w搞一个我们部门自己用的。

看了一些方案，感觉很难比A800快，虽然可能比20tok/s快应该可以，佬们有什么思路吗。

目前考虑的是双路5090，单卡pro6000（可能超了），双路dgx spark（琢磨这个到时候应该换个部署dsf）

最新回复 (9)
  • Grogu 09-14 10:59
    1楼

    RTX Pro 6000 WKS，10W 都花了，不差再加一点点 ^-^

  • 寂寞的欧尼酱 09-14 11:01
    2楼

    10w 的预算，十几个人用 Qwen3.8-27B，预算还是不够用。

  • Doro2077 09-14 11:02
    3楼

    ^-^dgx station性能好点，我们公司都是买的station，不过得加钱

  • Lyra Celeste 09-14 11:04
    4楼

    我们是两台 128G 的mac studio 运行…… 也是十几个人 但是我们没什么特别的并发情况。

  • ddoocc 09-14 11:05
    5楼

    station多少钱了？120够用吗

  • wzyfromhust 09-14 11:13
    6楼

    同时服务 10+请求根本扛不住(即使是 pro6000) 无论 ttft 还是 tpot 预计速度都非常可怜 还有概率发生 kv 驱逐

  • 害你的猪 09-14 11:29
    7楼

    不够，如果10个人同时并发，根本顶不住。除非限制上下文每人64k？

    我现在单卡5880ada单并发自己使用上下文512k，也只够勉强处理任务。如果开2并发，那就只有256k上下文。

  • Rita01 09-14 11:31
    8楼

    整就整好点，上点好配置，以后肯定还有需求的，这点钱估计10个人都够呛

  • sunliang 09-14 11:39
    9楼

    RTX PRO 5000 72GB 工作站，跑官方 FP8 版本

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐