2. Linux.do
  3. 求Macbook pro本地模型部署推荐

求Macbook pro本地模型部署推荐

abin abin 2026-09-16 16:57 1

Macbook Pro，M5pro芯片，48G内存，有哪个不错的模型可以本地部署玩玩儿的嘛

最新回复 (7)
  • UEFI 09-16 16:59
    1楼

    我曾经试过本地部署，但是感觉，只能小模型或者量化模型，效果对比 API 还是差得多


    48G 其实可以看看 QWen 的小模型

  • 熊猫竹子 09-16 17:05
    2楼

    我48G 部署个Qwen 27B 问个问题卡半天，放弃了

  • abin abin 楼主 09-16 17:06
    3楼

    哪里能白嫖，让我试试

  • slowlyo 09-16 17:07
    4楼

    Qwen 3.8 27B



    我的 m1pro 32 都能跑起来, 首字慢后续还是挺快的; 应该是目前最智能的小型模型了


  • Jason Hao 09-16 17:12
    5楼

    llama.cpp 部署的 ，支持arm架构，我跑的是wen3.8-27B-UD-Q4_K_XL.gguf 这个量化版本的，还行有个20~30 token/s 首字也比较快，看你用来做起什么了

  • abin abin 楼主 09-17 10:14
    6楼

    用的哪种部署方式

  • vows 09-17 10:17
    7楼

    比你的配置还要高一些，本地模型输出真的很慢

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐