2. NodeSeek
  3. 96G显存本地部署模型目前哪个最合适

96G显存本地部署模型目前哪个最合适

X1721 2026-08-27 17:08 1

有两张空闲的L40S，用ollama部署了一个qwen2.5-coder:32b，体验很差，感觉什么都做不了，不知道有什么合适好用的本地模型，最好能用作代码补全的

最新回复 (17)
  • Hikari 08-27 17:09
    1楼

    千问 3.8 27B

  • erryying 08-27 17:10
    2楼

    https://www.canirun.ai/

  • sihasihainns 08-27 17:11
    3楼

    qwen3.8-27b，目前体感最好的了

    我个人16g部署非全量版本用起来还不错，你96g直接拉满用起来肯定爽 ^-^

  • 浮躁得很 08-27 17:11
    4楼

    kimi k3能跑吗？

  • X1721 楼主 08-27 17:12
    5楼

    @Hikari #1 谢谢，我来试一下

  • X1721 楼主 08-27 17:12
    6楼

    @erryying #2 还有这种网站，收藏了

  • CuriousQTF 08-27 17:12
    7楼

    不管什么模型，先找破解版爽爽。

  • X1721 楼主 08-27 17:13
    8楼

    @sihasihainns #3 我来试试，豆包给我推荐的qwer2.5 ^-^

  • dtybgg 08-27 17:13
    9楼

    @浮躁得很 #4

    包不能的

  • suarezFeng 08-27 17:18
    10楼

    千问 3.8 27B 很强

  • 1952444901 08-27 17:29
    11楼

    代码毫无疑问qwen3.8 27b，27b的稠密模型靠长思考很能打，能把一年前的SOTA吊起来锤。再就是可以部署Minimax H3跑视频玩了。

  • ryzengod 08-27 17:54
    12楼

    qw3.8 27b

  • wahaha2026 08-27 18:38
    13楼

    千问3.8 27B ^-^

  • logr 08-27 19:11
    14楼

    qw3.8 27b

  • walker1 08-27 20:25
    15楼

    @X1721 #8 大豆包的话不能信，过时了。


    哈哈，我太能理解你的心情了，现在需要我帮你删掉这个备份模型吗

  • cybort 08-27 20:47
    16楼

    你这选的模型太旧了

  • Aptin 08-27 20:53
    17楼

    靠谱的生产力还得是商用api

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐