2. Linux.do
  3. 分享一个8卡5090跑Qwen.38-27B-NVFP4的配置方案

分享一个8卡5090跑Qwen.38-27B-NVFP4的配置方案

Lighfer 2026-10-28 11:05 1

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：



  • 我的帖子已经打上 开源推广 标签： 是

  • 我的开源项目完整开源，无未开源部分： 是

  • 我的开源项目已链接认可 LINUX DO 社区： 是

  • 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是

  • 以上选择我承诺是永久有效的，接受社区和佬友监督： 是


以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出




这个帖子纯手敲的啊，本就是一个经验分享也算不上开源推广，再拦就不发了换个地方玩。参与社区建设搞成这个样气skr人



模型: nvidia/Qwen3.8-27B-NVFP4

上下文: 200K，用户群体长上下文为主

部署方案: GPUStack，PD分离，4卡Prefill，4卡Decode，可选基于LMCache的共享内存缓存，也提供6卡+LMCache部署方案（2卡P+2卡D+2卡D）。

性能:



  • 缓存命中率: 在我司可以维持到95%上下。

  • prefill: 可以达到17000tok/s，主要瓶颈点就在这，并发高了首字延迟会拉高，P95在6秒，P99在16秒，AVG在2.5秒，MAX在69秒（超长上下文冷启动+业务高峰）。理论上来说具备优化空间。

  • decode: 可以达到1600tok/s，基本可以稳定在人人均有100~200tok/s的体验，prefill问题解决后有可能可以支撑到30~35并发左右并保持比较良好的用户体验（人均50tok/s以上的输出速度），远快于GPT 6.1 Sol。–笑–

    仓库: GitHub - Lighfer/8x5090-deploy-Qwen3.8-27B-NVFP4 · GitHub，后续会持更新。


使用方法AI版:



请先阅读本仓库的 AGENTS.md、README、STACK.json 和 docs。开始前先向我询问本次目标环境、现有服务和允许操作范围，不得猜测地址、路径、端口、GPU、账号或资源编号。将真实配置、构建产物和运行记录全部放在仓库之外。先调研并提出实施与验证方案，再根据我提供的信息，使用固定来源和补丁完成部署；需要决策时先问我。已有服务的切换必须保留入口隔离、排空、验证和失败回滚。完成后报告实际验证范围，并执行公开信息与完整性自查。



佬们: 有没有优化方案或者思路，或者现成更优的方案可以学习一下，GPT和我快油尽灯枯了，目前只能优化到这一步了。(你猜猜为什么是GPT和我，而不是我和GPT)


业务高峰时prefill:



业务高峰时decode:





最新回复 (6)
  • unde_fined 10-28 11:07
    1楼

    让我问问我的GPT ^-^

  • okf 10-28 11:16
    2楼

    8卡部署一个量化版的27B，太奢侈了啊

  • Lighfer 楼主 10-28 12:03
    3楼



    • prefill: 可以达到17000tok/s，主要瓶颈点就在这，并发高了首字延迟会拉高，P95在6秒，P99在16秒，AVG在2.5秒，MAX在69秒（超长上下文冷启动+业务高峰）。理论上来说具备优化空间。

    • decode: 可以达到1600tok/s，基本可以稳定在人人均有100~200tok/s的体验，prefill问题解决后有可能可以支撑到30~35并发左右并保持比较良好的用户体验（人均50tok/s以上的输出速度），远快于GPT 6.1 Sol。–笑–

      仓库: GitHub - Lighfer/8x5090-deploy-Qwen3.8-27B-NVFP4 · GitHub ，后



    公司内网用，能满足几十个人使用而且速度比较快的，智力水平比较好的，目前就测试下来这就是版本答案了，FP8的话业务高峰兜不住，太慢了，满血版就更不行了

  • 丿灬琳琅 10-28 12:23
    4楼

    纯tp的方式存在的最大问题是，一个kv在每张显卡都会存一份，极大造成了显存的浪费，现在部署一般都要用tp结合dpa来切，kv cache的池子可以翻倍卡数的倍数，比如dpa4 kv cache可以存的token可以近乎x4。代价是低并发拉胯了点，因为注意力不再是所有卡协力计算了，但是凭借巨大的缓存池可以增加高并发能力和缓存命中率，降低ttft。最近这个pd分离搞的我有点汗流浃背了，老黄这一刀带宽一刀nvfp4算力给pro 6000d砍废了，就显存容量可以，剩下的都不行，目前24卡pd分离搞glm 5.3 flash，难怪这个卡只有pro 6000一半的价格 ^-^

  • Lighfer 楼主 10-28 12:38
    5楼

    24卡pro 6000D。。。还得是佬啊

  • 我会送你红色玫瑰 10-28 12:43
    6楼

    佬，你贴这些数据我看不懂啊，这种本地部署配置的方案我更喜欢看看鹈鹕

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐