2. Linux.do
  3. 佬们有没有好用的本地模型推荐

佬们有没有好用的本地模型推荐

LinglingZ 2026-06-09 00:09 1

最近配了个Hermes，想着跑简单的本地模型，显卡是4070laptop，想要个能识图的跑快点的本地模型，求佬们推荐

最新回复 (9)
  • Jeff Dean 06-09 00:12
    1楼

    Gemma 4 QAT系列31b至少要17.5G左右显存

  • LinglingZ 楼主 06-09 00:13
    2楼

    只有8g的哭了^-^，不过内存是32g的

  • b1mango 06-09 00:13
    3楼

    要能识图的可以试试qwen3.6-35B-A3B的各种变体，挂载识图的mmproj，具体的量化版本根据自己的硬件来选 ^-^

    显存只有8g吗，那确实有点勉强了，还是可以试试的，减上下文减输出跑跑看

  • LinglingZ 楼主 06-09 00:16
    4楼

    请问一下这个参数的话属于基本能用水平么？

  • LinglingZ 楼主 06-09 00:17
    5楼

    我主要是想让本地模型配合着deepseek来用，顺便省token

  • Jeff Dean 06-09 00:20
    6楼

    llama.cpp支持混合推理的，拿内存来凑，就是会变慢

  • iMoonway 06-09 00:25
    8楼

    其实Qwen3.5 9b的q8量化也可以，性能相当于GPT oss 120b。


    还有gemma 4 12b（更高的moe也可以尝试）的 qat也可以试试，不过gemma 4的视觉能力真的不如同参数量的Qwen3.5

  • 紫玥 06-09 00:28
    9楼

    可以看看Gemma4 12B 原生支持图片、视频、音频

  • harmless 06-09 03:48
    10楼

    gemma4新出了个12b，Q4 8G显存可以跑，可以看看

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐