佬门，5060显卡8G的本地部署大模型，做网安比赛，有推荐的吗
做什么用？感觉无论做什么用的都不现实，且不说模型智商问题，8g显存不知道上下文有没有1k，能干啥。估计只能部署qwen3.5 9b了，就我的感受和弱智没区别。最近有个strata框架，说是可以在小显存显卡上运行大模型，但再怎么样也需要大内存，我只能说不显示
无奈啊，5060显卡，啥都干不了！！！
August 10-26 20:121楼
HYT_K 楼主 10-26 20:532楼