本地AI大讨论，为何本地AI从出生到现在一直不被大多数人认可？

有感而发，写下本贴，主要是想和各位佬友进行一个本地AI的大讨论。

事情的起因是在和朋友聊及本地AI时，大部分人的第一反应都是部署成本高，智商低。

即使大部分人认为本地AI不具备任何实际用途，但也有一部分人热衷于折腾本地部署，包括我。

这不禁让我有疑问折腾本地部署的人，到底图些什么呢？

为了讨论这个问题首先我们先来梳理一下当前本地部署AI的几个大方向的发展情况。

大语言模型

无论是从早期的llama系列到现在的qwen35基模/gemma4基模系列，还是如deepseekv4f等现今的主流开源模型。本地大语言模型都是本地化AI部署里最关注的一环。

• 对于个人部署而言：受限于内存/显存容量，更多的人考虑的还是qwen35/gemma4基模里的各类模型。若选用的模型参数量低如qwen3.5-9b/gemma4-e4b等低存储需求的小模型会出现模型能力不够的问题，而选用相对能用如qwen3.6-35b-a3b系列或者gemma4-26b-a4b系列时又会因为同时占用内存和显存导致只能空有枪没有靶的问题。更大的如qwen3.6-27b/gemma4-31b的dense模型则需更大的显存，这对消费级显卡来说很难承受。


• 对于企业部署而言：受限于成本，花费上百万部署一个本地AI服务器供给开发可能不如直接走b端API订购等路径来的实在。

无论是个人部署还是企业部署，本地AI的选择似乎都很容易被线上模型所替代。

个人可以用dsv4f和gpt5.6luna等白菜价模型，企业大批量采购api比自部署带来的成本节省。这无疑给本地模型判了死刑。那为什么还要折腾呢？

本地模型由于其小参数量确实不具备太多的生产力。写代码生产侧都是宁愿用更强的模型，更强的模型意味着更高的效率，“用gpt5.6sol一句话能解决的事情并不想用27b的模型试错无数次”。

生图模型

现有的开源生图模型如krea2/anima等，在开源社区的影响下也有自己的一片天地。

对于个人部署而言，开源生图模型更多的是用来NSFW，而非是用于真正的生产环节。

对于企业而言，开源生图模型的意义被更强的如香蕉/gpt-img2等闭源模型取代。更别说闭源模型近乎白菜的价格

视频生成模型

随着海螺MiniMax H3的发布，本地视频生成部署又开始走向大众视野，先前的Wan2.2/LTX2.3都没有H3发布给人带来的惊艳感。

从comfyui适配演示里说的32g内存+3060 12g可玩再到凭借开源社区的推进，16g内存+4060 8g笔电也能很快跑通10s时长的生成。

受限于Seedance2.0近半年的垄断，闭源模型价格一高再高，这波H3开源给很多从事AI满剧/短剧开发的人带来了希望。事实也确实如此，低成本的设备就可以很好的跑通高分辨+15s时长的视频生成。

对于工作室而言，H3的发布或者也能成为他们用更低的成本带来更高的生产力。

从上述的几个方向来看，大语言模型的本地部署由于其高成本低生产力被线上白菜价模型所取代。开源生图模型除开NSFW用途也被白菜价的闭源生图模型取代。仅有视频模型方向从与闭源模型差距越来越大的情况下，靠着H3的发布扳回一城。

我的观点：

本地模型诚然很难追上现有的闭源模型，够用的程度也是因人而异；倘若仅接入如hermes，workbuddy等个人agent。qwen的35ba3b和gemma的26ba4b也足以胜任，而代码开发工作则需更强的模型最接近本地部署的体量的模式是dsv4f，而当前部署dsv4f的成本是很高的。

视频模型的部署成本之所以能够低下来得益于其无需语言模型的每个token都需完整推理，其一次完整推理则完成了其中的一步，通过动态显存技术可以解决这一问题。生图模型本身也能够通过动态显存技术解决这一问题。

那么为什么我们还要这么热衷于本地部署呢？

• 一部分原因是因为有一批人热衷于对探索体验新的技术，哪怕仅是尝试一下，这种折腾过后带来的爽感是无可比拟的


• 另一部分原因则是，无论是我还是各位佬都相信技术平权，我们都相信开源带来的不仅仅是技术的公开，更多的是将技术普及化，让技术平权走向普罗大众，我们折腾开源模型的本地部署，不仅仅是相信其会越来越强，也是推动其开源生态的发展。

写在最后：

本地开源模型不该被一句智商低下，不能够用来生产而被贬低。相信其随着技术的发展，终会会在未来展现自己独有的一面