佬友如何看待 Mac mini 和 本地部署

Mav 2026-06-26 19:23 1

如题,我自己前段时间入手了台16+512的M5 mba,日常去图书馆什么的都够用,也是很喜欢Mac的生态,但16G的内存还是太小了,日常担心不敢高负载(或许以后换成24+1T的好些)


最近一段时间在折腾Ollama的本地部署,虽然我很清楚本地部署跟生产力搭不上界,稍微大一点的模型就吃力耗电费力不讨好,我以前对本地部署的态度是“有钱没处使”,尤其是那些为了本地部署想买64G甚至128G的mbp的人,我都是劝退甚至觉得有点傻的。


但今天在Ollama里面部署一个微调的Qwen3.5B的时候,还是给我惊讶到了,内存占用大概7G,却有不小的智慧,解答我的一些复变函数问题(大学生期末周syzd)真就是秒回而且使用的小技巧都对。而且看一个大模型跑在本地,敲下回车就能得到响应,完全不担心任何额度和token的时候,我感觉有点触动。


所以我现在有点改观:



  • 是否现在很多小模型经过蒸馏,量化,微调,已经具备可观的智力?似乎并不能用以往的模型大小去评估了?(我以前对几B甚至70多B的模型都是不屑的,认为GPT3.5这种“古董”都175B,DeepSeek,glm这些700多B的模型都不能完全满足我的需求,但上午这个8B的小东西一连回答了四五个复变函数和积分技巧都完全正确,真给我看呆了)

  • 本地部署,尤其是运行速度快的时候,真的让我有一种快乐,无限,操控的感觉,这是API调用无法带来的(以前在Windows电脑上,当时没独显纯CPU,也是跑得很慢,现在mac飞快得出回复,实在感觉不一样)

  • 想要一个舒适的本地部署,直接放电脑上体验显然是不好的,即使电脑有32G我也觉得有点难受,这时候mac mini的优势就体现出来了,一个独立的小工作站,能力甚至比同等的电脑还略好些,是不是会很舒服?


哎,有点奇怪啊,现在居然有种想要砸钱买台16G的 mac mini 的冲动了^-^

我可能会去租一台试试一个月吧,还是不能冲动消费,租一个月似乎400,感觉还能接受。

最新回复 (8)
  • 小文 06-26 19:25
    1楼

    现在这个价格,其实你可以考虑一下老款的pro 将你的air也替换掉,

  • 海獭 06-26 19:32
    2楼

    太不值了,某市场一个二手盖板macmini m4都得三千多了,能开两年gpt plus了,四百也能开三个月了


    不如想想开订阅能省这么多钱,是不是更爽 ^-^

  • 时牧 06-26 19:33
    3楼

    个人本地部署的话,无审查的开源生图和视频模型能玩玩

    文字模型就没必要了

  • webcoral 06-26 19:39
    4楼

    我觉得值得一试,本地模型没有token焦虑,我就在我的mac mini部署了,安全性要求高的都通过他来跑,用起来还不错。不过建议楼主先租一个月试试,确定是不是真的需要。

  • SoVY 06-26 19:41
    5楼

    本地部署实际体验下来适合找工作的时候用

  • 九十 06-26 19:41
    6楼

    我也觉得可以试一试,主要图个好玩,又不是很贵。我自己也是为此搞了块3090矿卡来把玩 ^-^

  • cyrushao 06-26 19:43
    7楼

    试一下 Qwythos-9B-Claude-Mythos-5-1M-GGUF 和 生图模型 Ideogram 4 都是本地部署的。

  • impouo 06-26 19:49
    8楼

    如果有现成设备顺手部署一下的话,玩一下还可以。没有设备的话真没必要特意花钱搞一个就为了本地部署大模型玩,尤其是现在到处都在涨价。

* 帖子来源Linux.do
返回