2. Linux.do
  3. 5080笔记本本地部署选什么模型，好纠结

5080笔记本本地部署选什么模型，好纠结

LenGary 2026-07-18 21:28 1

新买的笔记本290hxplus+5080，32+4t的配置，本来我对本地部署毫无波澜，因为别管是付费还是公益站哪个效果不比本地那小模型强啊

但是最近工作原因每天固定8小时断网，手机网也巨慢无比，真的太难熬了，动了想本地部署玩酒馆的心思

好歹我这配置带得动吧，不至于以前1650的卡一个一个字往外蹦


我跟ds聊了半天推荐我qwen3.5 9b，也问过gemma4这种，但是说实话选择太少了

有没有佬已经玩过了感觉效果不错的推荐推荐啊，需求就是酒馆、翻译、改扩写一写材料这样

最新回复 (8)
  • unsafe 07-18 21:36
    1楼

    佬可以试试这个工具


  • Mav 07-18 22:14
    2楼

    就qwen3.5-9B，千问一直是开源模型里面的斩杀线，各个大小都有而且训练非常出色


    gemma4针对中文的语料训练，那肯定还是不如千问好的。就用千问就很不错了

  • 一摩尔氚 07-18 22:15
    3楼

    qwen3.5好还是qwen 3.6好？佬友觉得？

  • Mav 07-18 22:16
    4楼

    qwen3.5，有很多以这个为基模的模型了，之前好像还看到一个100万上下文的

  • FlyLoongZ 07-18 22:25
    5楼

    试试这个？


    [43f87f699036a77df01f6f54059d559d]
    [1d2a2aee6845632e44256ba1e3d5cf21]
    [b27d287712b3752ec6081e6d69be0414]
    [27e2df007af3c4f90b1ec2e66199e7c0]
    [779745e2a0842122054cb67e36ac70b8]
    [4fe1fd0b53c29c31c1…
  • 变老的大二 07-18 22:27
    6楼

    这个我在行，本地酒馆12B的模型够用了

    推荐你两个：

    mradermacher/MN-Violet-Lotus-12B-GGUF · Hugging Face


    Epiculous/Violet_Twilight-v0.2-GGUF · Hugging Face

  • LenGary 楼主 07-18 22:40
    7楼

    感谢佬，但是我还有翻译提取文字和一些文档编写的需求，这两个和qwen比你觉得效果咋样啊

  • LenGary 楼主 07-18 22:41
    8楼

    我估计27b怕是跑不动吧，最多也就是12b左右的能力感觉

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐