你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s

如题。

相较于只有ISTA-DASLab 孤立跑分的 IQ3 系列，nvfp4 有英伟达官方站台，所以其能力会更有说服力。

更何况 nvfp4 并不是全 4bit ，很多参数都保持了全量 bf16 。

对于 64GB ram + rtx pro 5000 48GB 而言。瓶颈主要是因为专家变大了，导致显存只能放进 13500 个专家，从而专家命中率从 99.7%降低至大概 97.x~99%。

然后就是因为内存的紧张，所以 Conversation cache 只能维系在 8GB ，4slot 。

其他的配置保持不变。
如惯例，贴出我的配置表：

args": [

  "--pack",

  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\pack",

  "--native",

  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf",

  "--native-dense-gguf",

  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\qwen-nvfp4-gptq-dense.gguf",

  "--ple-gguf",

  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\ple-fp8.gguf",

  "--embd-gguf",

  "C:\\work\\Strata-data\\models\\Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata\\token-embd-bf16.gguf",

  "--expert-profile",

  "C:\\work\\Strata\\data\\expert-profile.bin",

  "--expert-cache",

  "auto",

  "--prefill",

  "auto",

  "--spec",

  "4",

  "--mtp",

  "C:\\work\\Strata-data\\mtp\\rt",

  "--max-context",

  "262144",

  "--kv",

  "k8v4",

  "--resident-budget-gib",

  "39",

  "--vision",

  "--vram-reserve-mib",

  "700",

  "--spec-min-p",

  "0.5",

  "--pool-workers",

  "2",

  "--conversation-cache-mib",

  "8192",

  "--conversation-cache-min-tokens",

  "20000"

 ],