求助:macbook M5 64G内存,跑本地模型。能实现接近antigravityIDE的效果吗?如何实现?

Fisher 2026-06-18 10:38 1

求助:macbook M5 64G内存,跑本地模型。能实现接近antigravityIDE的效果吗?如何实现?

最新回复 (19)
  • 一只羊蝎子 06-18 10:41
    1

    跑本地模型 vibecoding 我觉得不太现实,上下文一长,内存爆了不说,超长首字延迟你也等不及


    可以 b 站看一下别人的测评,prefill 太慢了

  • Totoria 06-18 10:42
    2

    本地大模型就是富哥耍着玩的,慢的要死

  • 咕咕咕 06-18 10:42
    3

    mac 跑大模型只是能跑,还是太慢了

  • Fisher 楼主 06-18 10:43
    4

    我跑7B的时候看起来还行。就是它不处理问题。只是回答。我目前是16G的内存。只能16K的上下文。是不是上了更大的模型后,更大的上下文后,处理的也慢了?

  • zee 06-18 10:43
    5

    640G内存可以考虑考虑。不然还是用api

  • Nixxx 06-18 10:44
    6

    把設備的錢,拿去買coding plan,花都花不完

  • Fisher 楼主 06-18 10:45
    7

    coding Plan好的也贵呀。

  • Nixxx 06-18 10:47
    8

    我買了三個coding plan輪流用,還是能滿足一整周的工作使用

  • greenflute 06-18 10:47
    9

    接近是不太可能的,本地模型尤其是笔记本本地模型比较适合跑实验性质量化以后的小模型,做有无的验证

  • gjx1 06-18 10:47
    10

    没有那种服务器集群就别想拿来 vibecoding 了,何况是笔记本,买各种pro 会员你都能用好几年

  • wpy 06-18 10:49
    11

    20年后可能会有硬件级的家用芯片,现在唯一的方案路径就是 立马洗洗睡,梦里啥模型都能跑。

  • jv-kssma 06-18 10:51
    12

    買一台最便宜的macbook neo, 把省下的錢買gpt, claude, glm, deepseek 的token, 夠你玩個幾年了,


    除非本地跑是刚需

  • 十万大山的山大王 06-18 10:52
    13

    64GB 统一内存,刨去 10GB 给 macOS 和 app,剩下 54GB 留给 LLM,可以跑 gemma-4-31B 或者 gemma-4-26B-A4B Q8 量化版,kv-cache Q8 量化,上下文 200KB。稠密模型吐字速度比较慢,毕竟统一内存带宽有限,但是 moe 模型是很快的,由于激活参数少,40 t/s 没啥问题。

  • long 06-18 10:54
    14

    640G 也离api 还很远呢。不要想了,自己部署的干不了活,只能忽悠忽悠老板。

  • 一只羊蝎子 06-18 10:56
    15

    上下文高了以后需要更多时间来做 prefill,表现为等半天他才开始理你

  • Linus_Cat 06-18 10:57
    16

    1TB 内存跑个 glm5.2 可以接近opus 4.6了

  • tekashi955 06-18 10:58
    17

    本地部署个Embedding模型还行,想vibe还是算了吧我感觉

  • ca71 06-18 10:58
    18

    能不能跑应该是没问题,但等待可能有点难受,并且上下文一大,应该就吃不消了

  • magicnum 06-18 11:12
    19

    128g的max跑最大的私有模型,也比不上商业模型。我感觉甚至不如flash

* 帖子来源Linux.do
返回