2. Linux.do
  3. 本地部署千问3.8，鹈鹕骑单车

本地部署千问3.8，鹈鹕骑单车

Pine 2026-08-24 12:02 1

看下各位佬的都是啥样，我本地v100,单卡32g显存跑的千问3.8 q4_gguf。开的192k上下文,关闭了深度思考,感觉跑出来的憨憨的

最新回复 (9)
  • lzgmxd 08-24 12:03
    1楼

    27B这个必须开思考才能有bench的那种表现，非思考模式表现很一般

  • 乄丿 08-24 12:03
    2楼

    效果呢，看看效果哇，真羡慕有本地部署的本钱

  • Pine 楼主 08-24 12:05
    3楼

    拿公司的卡跑的，还有两张空闲卡没用

  • 合本丶 08-24 12:06
    4楼

    现在的模型不开思考智商都不高，可以试试开启思考再跑一遍

  • CloudLink 08-24 12:33
    5楼

    佬，你也可以尝试一下这个卡能把这个模型最高跑到什么程度，v100是特斯拉那个吗？我公司也有，但是都满了，我没机会试。

  • 春风亭朝小树 08-24 12:34
    6楼

    笑尿了。哈哈哈哈哈，反向骑单车。

  • Pine 楼主 08-24 13:29
    7楼

    开了思考模式的，感觉也就那样

  • Aiden 08-24 13:31
    8楼

    对于一个 27b 的模型来说已经很好了

  • Chen_JW 08-24 13:36
    9楼

    开了思考每个问题都要思考将近十分钟 ^-^ ，不过雷霆大思考换来的效果确实很不错

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐