2. Linux.do
  3. 本地部署大模型方案请教

本地部署大模型方案请教

胖虎 2026-08-10 10:06 1

小白求助，我想在公司一台电脑部署本地大模型并且使用cli，具体配置是双卡3090，512G内存，双CPU Xeon(R) Gold 6240R，主要用来写代码，请问目前最适合这套配置的部署什么开源模型，能使用Claude code或者codex吗，如何部署较佳

最新回复 (14)
  • soul0932 08-10 10:10
    1楼

    内存没用啊,大模型只看显存,双3090不知道能不能nvlink.

    小模型的话 编程最强应该是qwen3.6 27B.用ollama或者lmstudio一键部署就行了

  • 落寞书生 08-10 10:13
    2楼

    个人使用的话,推荐llama.cpp,部署个ubuntu系统,qwen3.6 27b模型,开启sm tensor 和mtp,decode 速度应该能达到50t/s以上,也可以安装个deepseek-v4-flash-0731 ,速度可能比较慢,看你的内存通道数,我自己的2个魔改20gb 3080和8通道2666mhz ddr4大概decode 16t/s. code agent 可以使用opencode

  • 同学，能吃一口你的泡面吗 08-10 10:13
    3楼

    正如一楼说的，关键信息 显存 你没说。

  • 顾迪 08-10 10:15
    4楼

    部署Qwen3.6-35B-A3B-W8A8模型，我已经试过了，3090单卡24g可以部署起来，使用docker加vllm-openai。驱动版本为580.159.03



    如果你想部署更强的模型建议升级显卡吧

  • 人不能至少不应该 08-10 10:17
    5楼

    Qwen3.8-27B应该快来了，可以期待下

  • Lemonade 08-10 10:17
    6楼

    vllm ,剩下教程问 GPT。但是两张 3090 估计够呛能部署能实际使用的

  • 休息的风 08-10 10:20
    7楼

    性能感觉不如Deepseek。如果有隐私需求，就申请增加预算。小模型不行。

  • PoliceBoy 08-10 10:22
    8楼

    双卡3090 显存不大，内存512g，可以考虑用llamacpp这种，速度上应该比vllm要快不少。

  • 胖虎 楼主 08-10 10:26
    9楼

    单卡 24G，有没有nvlink我还需要看一下

  • uglyBug 08-10 10:28
    10楼

    这个配置，本地部署的模型代码能力还是太弱吧，搞着玩行，生产力估计够呛。不如把512G内存咸鱼买了，把钱买coding plan ^-^

  • 0ops 08-10 10:28
    11楼

    24g显存感觉有点吃力，可以先试试量化模型

  • 胖虎 楼主 08-10 10:29
    12楼

    哈哈哈哈如果可以，我想把老板公司也给他卖掉

  • kobe_zack 08-10 10:34
    13楼

    vllm、LMdeploy，这些都可以做部署，从huggingface上下载模型，没加速的话就用国内的ModelScope下载。具体能部署多大参数的得看你的显存，大概计算就是假设模型参数7B*fp16/8byte，大约最少就得14GB的内存，其他kvcache以及框架运行加载所需资源，7B的大概占用2GB，最少得16GB显存能运行起来7B的FP16的模型。

  • Rainbovv 08-10 10:39
    14楼

    3090不支持nvlink，nvlink是需要有物理插槽的

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐