本地部署大模型，很多自动任务和脚本客服接待

qwen 27b

@nienien #0

直接用API，4090和3090内存不够。简单的模型太弱智，复杂的模型上下文长度一大，你就爆显存了。

@Emmmc #2

目前也就是这样了.本地模型部署硬件太夸张了。。

API

部署Qwen3.6-35B-A3B-Q4_K_M吧，4090/3090刚好

@akanotanin #5 上下文会炸。显存扛不住。特别是接入项目后想连续流畅的上下文起码pro 6000起才能丝滑体验。

直接脚本接入API，然后把提问和大模型的回复写入资料库。资料库充实后再换本地模型试试。