2. Linux.do
  3. 5070能跑个什么样的本地模型

5070能跑个什么样的本地模型

雨幕 2026-06-17 14:29 1

佬友们，像我的电脑14600KF+5070最多能跑个什么样的本地模型？不知道效果怎么样？打算搞个试试。

最新回复 (19)
  • Paranoia Gu 06-17 14:30
    1楼

    不如用5070挖矿，然后用云端模型。

  • 咪叭 06-17 14:30
    2楼

    Qwen3.5 9B 或者 借点内存跑Qwen3.6 35B A3B

    或者 Gemma4 12B

  • 雨幕 楼主 06-17 14:32
    3楼

    借点内存是啥意思？ ^-^我这个5070也只能跑12B的模型吗？

  • HeriX 06-17 14:32
    4楼

    12G的显存, 跑个qwen3.5 9B(FP8)吧

    要跑更大的模型就需要更高的量化了

  • 雨辰 06-17 14:34
    5楼

    不做科研的话还是不要折腾了吧?部署个绘图模型都比小模型可用欸!

  • 老火面 06-17 14:34
    6楼

    不知道佬的内存多大，不过跑AI模型建议32G以上。

    comfyui跑图的话估计只能跑跑Z-image-turbo的量化版模型，跑视频基本跑不了，就算能跑也极慢。

    跑LLM的话，估计能跑跑10b以下的量化版小模型吧。

  • 雨幕 楼主 06-17 14:35
    7楼

    5070的显存是12G的，运行内存的话我是32G的

  • 咪叭 06-17 14:38
    8楼

    对的，而且只能跑12B模型的阉割版，跑不了满血

    跑模型先看显存，大显存更舒服

    硬要说的话就是5070跑这个还不如5060Ti 16G

  • 雨幕 楼主 06-17 14:39
    9楼

    确实，看来本地模型短时间内对于个人来说还都只是随便玩玩的程度。

  • z1056544889 06-17 14:40
    10楼

    勉勉强强能跑12b模型，而且上下文不能拉太高，不然爆显存

  • 咪叭 06-17 14:40
    11楼

    不过可以跑跑生图模型还是可以的，比如跑跑SDXL,Anima,Z-Image啥的

  • 雨幕 楼主 06-17 14:41
    12楼

    那还是算了，我还是爱惜一下自己的电脑

  • 雨幕 楼主 06-17 14:42
    13楼

    生图模型对于显存的要求没有语言模型高吗？

  • z1056544889 06-17 14:43
    14楼

    生图，语音合成这种任务对显存要求没那么高，可以玩玩，而且5070核心比5060ti强，速度也更快

  • 咪叭 06-17 14:44
    15楼

    对的，对算力要求比较高，所以5070在这方面有优势

  • 路人A 06-17 14:56
    16楼

    没啥意义，玩玩还行，速度跟智商完全都比不上直接调API

  • 王富贵儿 06-17 14:59
    17楼

    我的cpu是u7 显卡5070 64Gddr5 使用qwen3.5 35BA3B 好象是gguf的q8还是q4量化记不清了 可以跑128k上下文，速度大概五六十T/s

    qwen3.5 9B稠密模型会相对慢很多上下文也少

  • Proletarian 06-17 15:03
    18楼

    这个佬的项目还不错，tts可以玩一下

  • xiaoti 06-17 15:05
    19楼


    用这个网站可测

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐