之前在论坛问本地部署ai 都说要天价成本但又看到好多人买个macmini就能跑

http401 2026-08-28 10:25 1

有点迷惑了 macmini上跑的到底能用还是不能用

最新回复 (25)

OhMyZsh 08-28 10:27

1楼

4级还水?
wisp 08-28 10:27

2楼

你这控制变量法都没学会啊
BlueSkyXN 08-28 10:27

3楼

能用，也不是很贵
Xander 08-28 10:28

4楼

macmini上跑的只是agent吧
http401 楼主 08-28 10:28

5楼

@OhMyZsh #1 手边没有设备没法试啊想看看有没有人实际用过的分享一下体验而已 ^-^
http401 楼主 08-28 10:29

6楼

@Xander #4 不是吧不联网也能用的那种啊
valentin 08-28 11:10

7楼

小参数量化模型可以mac上跑，比如Qwen3.5 9B / 27B / 35B，大参数大语言模型要大量高性能GPU才能跑
seb365 08-28 11:14

8楼

2位数t/s和3位数差异很大的
http401 楼主 08-28 11:15

9楼

@seb365 #8 两位数感觉也够用？
coolpool 08-28 11:15

10楼

本地跑设备挺贵的，dgspark要接近4万，现在这行情买显卡内存下不去手，高性能gpu租来跑也贵
http401 楼主 08-28 11:16

11楼

@coolpool #10 没审题？ ^-^ 问的是macmini上跑的能不能用
MoeXia 08-28 11:22

12楼

能用，跑AI大模型特别吃显存，看看现在大显存的显卡多贵了，Mac Mini能跑是因为Mac Mini有统一内存，内存和显存是共用一个内存池的，所以显存大的惊人，反而特别容易跑，性价比就高了
Lonyu 08-28 11:26

13楼

那要看本地跑什么模型啊
coolpool 08-28 11:37

14楼

@http401 #11 没看完，看到本地部署ai就想当然了，sorry
1952444901 08-28 12:54

15楼

Mac mini统一内存，能存得下比较大的小模型而已，类似的AMD的395也是
cybort 08-28 13:00

16楼

愿意买macmini的人是本来就会买的，跑一跑模型只是all里面的那个one
lmouc 08-28 13:03

17楼

本地的能跑的都是那种小模型，就几b的那种，小的甚至你手机都能跑，然后要跑deepseekv4满血的话貌似得3千万打底 ^-^
lmouc 08-28 13:04

18楼

本地ai搞不好电费比买token还贵
catom 08-28 13:06

19楼

跑过7b的，没啥用，不如直接买token
squalll 08-28 13:13

20楼

5070ti跑了个3.5 9b，玩了玩还不错,试了试自己的chatgpy deepseek api客户端，改动代码也不多也对接上了。。玩起来的话，第一次玩，不知道啥情况算好，啥情况算坏，没什么特别的感觉。稍后打算尝试2.5 14b对接comfyui
yooyui 08-28 13:53

21楼

那是被量化的（就和特价小鸡/超售小鸡一样），性能会损失，特性损失。

比如：100万的上下文变4K/16K，能力变弱，吐字速度慢...

你要体验的话手机就能跑(Qualcomm Snapdragon 7+ Gen 2)，Gemma 4 E2B。

下面这个链接里面有说明

Gemma
yooyui 08-28 13:54

22楼

@yooyui #21 发布于2026/8/28 下午1:53:47

那是被量化的（就和特价小鸡/超售小鸡一样），性能会损失，特性损失。

比如：100万的上下文变4K/16K，能力变弱，吐字速度慢...

你要体验的话手机就能跑(Qualcomm Snapdragon 7+ Gen 2)，Gemma 4 E2B。

下面这个链接里面有说明

Gemma

还有就是所谓的流口水（
陌生人 08-28 13:57

23楼

同样是车，同样可以跑，同样有几个大沙发，比亚迪硬是不到人家劳斯来斯价格的零头
江郎才尽 08-28 14:01

24楼

能啊，听他们扯呢，不要显卡都能部署ai，放心用就完事了
NotForMe 08-28 15:00

25楼

能用不代表好, 又水了