想部署qwen 3.6 35b a3b，需要多少预算呢？

显卡不是涨上天了吗？现在3w不知道能配什么配置下来

我不知道是技术问题还是选择问题，之前我用35b A3B微调了一下然后转量化会爆显存（5090D v2 24GB）。现在部署的7B，知识库用的dify，吐字速度还可以

现在也还不太懂部署模型相关的知识，也是摸石头过河中，仅供参考

佬 跑7b 的配置清单大概是啥呢，t/s 大概有多少？

对并发没要求的话 可是试试 llama.cpp 去推理量化后的Q4-K-M.gguf的模型 开启一下MTP

等下其他了解这方面的佬，看看有没有参考意见吧

现在主机关机了，明天给佬看一下，感觉我的没太大参考价值（太菜了） ^-^

普通的打游戏的电脑就足够了，这个moe架构的对显存要求还没有9B的高。

目前暂时是不考虑并发的问题，佬您说的这个模型需要多高的配置呢

那天演示机型用的是两张rtx6000然后 192g的内存，给我干蒙了，这一套下来也太贵了