大家对电脑本地部署AI开源大模型怎么看

本地部署最大的优势就是可以破甲 ^-^ 可以聊任何你想聊的

图一乐，除非你是富哥，上一堆计算卡。否则体验就不会很好

没卡只能问你好，今天天气等这种的问题

我之前觉得本地相比于云端没有任何优势，模型也施展不开拳脚。但现在我觉得它还是有意义的，相当于自己永久的私人大脑，不受外界信息的污染，不受资本定义的对错规则所影响

富人玩法，要高端显卡。

@gametiao #1 那很有趣了

几百万的电脑配置才能跑起来高端模型

算力跟不上，但是当成私人记忆体还不错，并且不受限制，我打算把工作相关的信息全丢给它记忆

@JackieWynn #2 MAC的统一内存就解决了显存不足的问题，你说的高端显卡指的应该是那些大模型公司训练AI用的N卡，但是我们做的是使用模型，只需要解决内存（能不能跑起来）和带宽（能不能跑得快）这两个问题就好了

我觉得随着内存和硬件的不断发展，私有的开源模型将会越来越能实现，越来越重要

坐等 未来垃圾模型可能比现在的主流还要厉害，GPU也越来越厉害，那个时候本地部署的春天就来了。个人感觉现在用硬件堆算力相当于当年第一代计算机几十吨的体量只能做加减是一个意思。

@Jordan520- #9 发布于2026/7/7 09:42:01，编辑于2026/7/7 09:42:22

@JackieWynn #2 MAC的统一内存就解决了显存不足的问题，你说的高端显卡指的应该是那些大模型公司训练AI用的N卡，但是我们做的是使用模型，只需要解决内存（能不能跑起来）和带宽（能不能跑得快）这两个问题就好了

本地部署大模型是吃你的本地机器的算力的

@蛇皮 #11 是的

意义不大

@JackieWynn #12 算力说到底还是速度的问题

Mac Studio 128G 使用中，定时任务都是本地模型完成的，在线模型用于检查问题和安排任务，省很多。

你这样想，你的日常工作有没有必要用高级模型，另外说一句 ornith-1.0-35b 很香

还有一个，啥都可以做，这个你自由想象 ^-^

@kkk #16 啥都可以做就很棒哈哈

@kkk #16

4090可以吗？我本地部署qwen3.5 总是感觉反应很慢

@xzy #18 显存不够吧，量化的倒是可以试一下，不过效果可能不太好

我是来看头像的

@xzy #18 4090 用 qwythos 9b 吧，但是肯定没有 35b 的好用，我是128g统一内存， 使用 llama-swap 配置，35b 稳定在 每秒70tokens

太慢了，算力也不够

有本地部署的预算，足够使用最新、最强的模型好多年了

其实就几个需求，需要能力强的基本只能走云参数越来越多 本地部署不现实，本地部署破甲版本的就是玩一玩，暂时本地部署嵌入模型还是很现实的做知识库整理