我发现个人部署本地 llm 真的很垃圾。

本地显存 48g 4090d,llm 为 fp8 量化版 qwen36.-27b

工作流是 yt-dlp--funasr---获取文案--qwen 提取观点 ---langgraph 调用 qwen 多 agent 对话---crawl4ai 搜索补充---生成文案龙骨---qwen 分段生成。

最终文案丢给 gpt ，无论怎么调提示词或流程，基本都是说废话太多，前面提到的观点后面重复解释之类。
而且调试也费时。
最后换成在线 api ，一切解决了。

本地模型可以用来生/编辑图、生视频、背景音等，短文可以，长篇还是算了，本地 llm 注意力机制的能力就决定了不能胜任。