本地布置qwen3.8-27b有必要吗?

sandy 2026-10-05 12:14 1

打算买2张2080ti,搞一个qwen3.8-27b量化版本,可能Q4或者Q6吧。你觉得有没有必要?听说现在优化得很好了,可以到160tokens/s了,我想用来处理一些日常简单的任务,有没有必要?不必考虑电费。


想请教一下:这个相当于claude或gpt的什么水平?256k的上下文够干什么?

最新回复 (16)
  • onion 10-05 12:16
    1楼

    我用来接hermes聊天,主打省钱,而且这种使用场景也无所谓智商了

  • W1nge 10-05 12:17
    2楼

    可以考虑考虑qwen flash next哦 ^-^

  • xqc 10-05 12:18
    3楼

    ^-^感觉还是玩具,基本上相当于GPT3.5这样

  • Xer56 10-05 12:18
    4楼

    当执行者挺好的,制定 plan 不够格。

  • lopez 10-05 12:25
    5楼

    Q4文本问答可以,编程上下文注意力不够,反复提的都不理你。建议先租机器玩玩,满意再买硬件

  • quina 10-05 12:28
    6楼

    我觉得暂时没必要,实际上便宜的token有的是,实际上自己真本地部署的花的钱又多质量也一般,不如你花点小钱在在线的套餐上随时用

  • sandy 楼主 10-05 12:31
    7楼

    好的,谢谢提醒,就是看别人玩心里痒痒

  • popyui 10-05 12:33
    8楼

    日常任务啥也干不了。没有必要。


    但是部署一个私有化模型很有必要。

  • sandy 楼主 10-05 12:35
    9楼

    为什么这么说?你是说换一个模型?

  • popyui 10-05 12:36
    10楼

    不是,目前本地最合适部署的还是qwen3.8 27b。


    这玩意她方便啊,有啥事情别的地方不让干的,是吧,放在自己电脑上,慢点差点。


    解决从无到有的问题

  • sandy 楼主 10-05 12:36
    11楼

    说的也是啊,本地的模型除了干一点无痛无痒的杂活,其实也没什么用。但无痛无痒的杂活,我的 MacBook Pro 都可以本地部署那种简单模型解决。

  • Wangzy 10-05 12:37
    12楼

    没有必要,这种小模型公益站是无限量供应吗,免费的没人愿意用

  • zayme42222 10-05 12:38
    13楼

    没必要。便宜的开源模型根本不需要花钱

  • Zephyr 10-05 12:38
    14楼

    没啥必要,买两张2080ti的钱,ds能蹬好多年了 ^-^

  • zikhir 10-05 12:44
    15楼

    我本地部署部署玩了一下,但可用上下文窗口太小了,基本啥都干不了,也就用在数据脱敏上了,但是数据脱敏在其他更小体量的模型也能做,比如gemma4 e4b,所以也没找到这个模型适用的场景

  • 不会忍的忍者 10-05 13:00
    16楼

    从 qwen3.5-3.6-3.8,用了很多模型了,直接省流:外面的说法全是骗人的,总体验时长可能不超过几个小时,就发个评测说:碉堡了。长难活,基本没法用,短快的活,知道明确结果只是自己懒得做的,可以用,结果一般都得改。

* 帖子来源Linux.do
返回