Qwen3.8-27B vllm Pro6000D部署问题,如何优化生成速度
LLLLLL
2026-08-22 21:45
1
我是用的单卡Pro6000D部署， BF16精度上下文256K，KV缓存FP8精度。token速度很慢啊，大概就是在20token/s。是哪里需要优化吗？还是说权重用量化后的FP8会快一些？精度损失严重吗？
我也试过两张Pro6000D部署，速度还是差不多，也是在2-30token/s徘徊。
或者说佬有更好的部署方法？
最新回复 (2)
-
LLLLLL 楼主 08-22 22:042楼
-
落寞书生 08-23 18:004楼
* 帖子来源Linux.do
附近帖子
- ↑B 站一键下载影片/字幕Chrome插件
- 📍 Qwen3.8-27B vllm Pro6000D部署问题,如何优化生成速度
- ↓真实工程任务-添加功能,DeepSeek-V4 Flash Vision Exp,Grok 4.6,GPT-5.6 Luna,GPT-5.6 Sol,Gemini 3.7 Flash横向对比
- ↓[开源自荐]VibeCoding一个网页版的Cherry Studio
- ↓想用nai生成二次元画风的图，有没有比合租一个会员更省钱的办法
- ↓gpt-5.5 智商在线了-juice值测试
- ↓请教下各位佬，mac下的clash verge 在wifi断了后，cpu会疯狂飙升，有啥解决办法吗？