NVIDIA Blackwell Ultra 部署 DeepSeek V4 flash 什么效果，能支持多少人并发

histore 2026-08-28 12:45 1

最新回复 (12)

dabao1955 08-28 12:48

1楼

上下文省着点用的话应该可以支撑 5-10 人吧
histore 楼主 08-28 12:49

2楼

这么差的吗，80w 的机器，DeepSeek v4 flash 只能 5-10 人
dabao1955 08-28 12:50

3楼

5-10 人我是从保守的角度估算的量。毕竟 kv cache 占大头
histore 楼主 08-28 12:59

4楼

佬，如果几十万 token 和几万 token 呢？
dabao1955 08-28 13:00

5楼

那就应该可以多点，3 40 人这样
histore 楼主 08-28 13:02

6楼

佬，你说的 5-10 人大概是多少的上下文
dabao1955 08-28 13:02

7楼

200k-300k 这么一个区间吧。
histore 楼主 08-28 13:21

8楼

老哥，有没有那种模拟器，比如型号多少，想部署的模型，然后看符不符合条件
llllnius 08-28 13:32

9楼

每一个机器能支撑的并发吞吐都和机器本身硬件以及推理引擎的优化有非常大的关系。所以不可能有这样的模拟器。优化永无止境，总能再挤一挤性能出来的。你买四张pro 6000，部署v4f，撑个十几二十并发问题不大
histore 楼主 08-28 13:51

10楼

现在四张pro 6000 是多少钱
chongxs 08-28 13:54

11楼

server版，国内目前应该加价后应该50万左右吧。
llllnius 08-28 14:13

12楼

看上下文，393k我这里极限也只能跑十几个，没招，显存就这么大。但一般人用不到这么大

* 帖子来源Linux.do

附近帖子

飞读

主题数
1

帖子数
1

注册排名
3

随机推荐