2. Linux.do
  3. 16G内存本地部署大模型有什么推荐的吗

16G内存本地部署大模型有什么推荐的吗

erebus122 2026-08-05 10:29 1

没有外网环境，想本地部署一个大模型写代码，有什么推荐的吗，没显卡，只有16g内部

最新回复 (19)
  • admini 08-05 10:30
    1楼

    16G 还跑什么大模型啊。而且是内存。

  • ayou 08-05 10:30
    2楼

    这个配置下，你是怎么有部署本地模型想法的？

  • erebus122 楼主 08-05 10:31
    3楼

    哪怕是代替网络搜索……也不一定是写代码

  • 人生海海 08-05 10:31
    4楼

    部署个8b的搞个翻译还行，写代码别想了吧 ^-^

  • Cakk 08-05 10:31
    5楼

    没有显卡 7b 都难吧？如果你只是想部署过只是想尝尝鲜验证下实现方案可以先在有外网环境部署后再考量

  • G.E.M.tangtang 08-05 10:32
    6楼

    配置低了些啊，小体量模型没啥意义

  • Bisheng 08-05 10:32
    7楼

    qwen2.5 1.5b，这个你可以使用一下，不过基本啥也干不了，你这个配置太低了

  • 𝑰𝑺𝒀𝒀𝑳𝑹𝑹 08-05 10:32
    8楼

    起码也得说CPU型号吧，16运行内存啥都干不了

  • Haskell 08-05 10:33
    9楼

    你这可不是16G，

    系统4G，使用4G，只剩8G

    还只有cpu only

    没多大价值，最多翻译了

  • 道听途说 08-05 10:33
    10楼

    embedding,这个应该可以

  • Spring 08-05 10:33
    11楼

    目前就开机的系统大概就会占用4g以上吧！加点自启动软件差不多8g！应该是部署不了什么的了

  • mengdu 08-05 10:33
    12楼

    你成功的把我逗笑了，建议你使用人肉大模型。

  • Kwongting 08-05 10:34
    13楼

    虽然社区准则是 真诚、友善、团结、专业。我也一直恪守。

    但是看到这种帖子还是不免想骂娘。

  • 哈雷彗星 08-05 10:35
    14楼

    你是 16G M5 macOS 还差不多


    当然你能说出 没显卡这种话 我也就只剩三个字了 __ __ __

  • liquorice 08-05 10:36
    15楼

    顶多能部署12B的模型，但2026年的今天你想用它来写代码实属天方夜谭。如果真能写代码的话，你打开L站首页早就是大家在讨论哪个12B模型写代码好使了

  • 爱长草的云 08-05 10:39
    16楼

    16G没显卡，大概率是没有啥能推荐的

    不过佬可以打开下面这个网站看一下是否有能带的动的，不过能部署不代表能流畅使用

  • erebus122 楼主 08-05 10:40
    17楼

    qwen3.5 8b，开64k上下文试过了还不错^-^^-^^-^

  • poligize 08-05 10:41
    18楼

    qwen3.5 9B试试，只有内存的话，推理速度很慢

  • hooke007 08-05 10:45
    19楼

    gemma的2b模型本地各种杂活用用

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐