本地部署的大模型大家觉得怎么样呀

4090能部署的大模型不多吧？24G显存，不能部署满血的模型 ^-^

别想了

能简单用用

写代码也是可以的

但是和云端的差远了

如果有就部署下试试，没有不推荐买

小模型这块，qwen应该是领先的吧，虽然他的大模型很一般 ^-^

本地部署目前最好的就是qwen3.6 27B了，但是依然是很蠢的，跟在线的没法比

glm5.2的本地量化模型怎么样

本地部署一般应用是画图和视频吧，因为这两个的在线api太贵了

qwen3.6 27b awq应该可以，原生多模态。不过性能肯定和api不能比的，就算相同模型，别人的上下文也会长很多。

本地模型太蠢了, 只能拿来洗洗数据.

画图和视频有什么好用的本地大模型吗

本地文本模型只能干一些简单的活， 写代码这种还是差距太大

画图可以看SD，SDXL系列，Z-Image-Turbo（真人图像不错），qwen-image（改图），flux2-klein(改图)，Anima（二次元）

视频的话本地的质量都很差， 只能说勉强用， WAN2.2和LTX2.3

当然本地的都可以NSFW（需要微调后版本或者lora）

4090还想啥大模型，B300都不够，老老实实部署那种很小的模型吧。

只能干点小活，大活上下文一会就爆掉了

四张2080ti玩过，呆的流口水，差的不是一星半点