2. Linux.do
  3. 各位佬自部署Qwen3.8 27b 实测体感都怎么样啊？

各位佬自部署Qwen3.8 27b 实测体感都怎么样啊？

dfeiwej 2026-09-10 10:33 1

最近看b站上面各种自部署的教程有点心痒难耐，请教各位大佬：


Qwen3.8 27b 能不能干活了？预期角色就是在主力Agent的指导下当一个子代理纯干活


如果体感还可以，推荐用什么卡部署呢？v100 16G 我看讨论的最多。

最新回复 (13)
  • mio 09-10 10:38
    1楼

    别人我不知道 我自己4070s 只能部署量化3比特的 效果很拉 没再测试了 本地能干活应该至少要4比特吧 显存20G勉强够用

  • dfeiwej 楼主 09-10 10:39
    2楼

    是的，至少要4比特。我看至少要2张v100 16G

  • mio 09-10 10:47
    3楼

    太贵了 就性能而言 买卡的钱 买订阅能用到天荒地老了

  • Wu Li 09-10 11:01
    4楼

    部署了试过了，不开thingking是一坨，开了thingking勉强可用，甲也挺厚的

  • dfeiwej 楼主 09-10 11:06
    5楼

    v100 目前还不算贵呢

  • HogskinKitty 09-10 11:07
    6楼

    ^-^ 在魔搭社区提供的AMD算力上200G内存+192显存，测试过256k上下文，速度还是有些慢，不知道是我部署问题还是算力问题

  • dfeiwej 楼主 09-10 11:08
    7楼

    我看有的用7900xtx 能跑到70左右的速度

  • Natsuki 09-10 11:10
    8楼

    公司有台AMD AI MAX的机器 8060s，128GB统一内存，用LMstduio部署，上下文 256K TPS在30左右，感觉速度还是不太行，

  • HogskinKitty 09-10 11:11
    9楼

    不知道那些佬是咋跑的，自部署这块我也是个新手，我还加个各种优化的参数，是跑的qwen3.8-27原版的bf16精度的，我看都是说对A卡优化不好

  • Timetzh 09-10 11:12
    10楼

    本地部署的作用是用来做点不让人知道的事情，否则本地部署意义不大。现在让它在写透视和驱动玩玩，但是效果很慢

  • HogskinKitty 09-10 11:13
    11楼

    主要是在于上下文一开高了就慢了，我KV Cache都是配置的100多G显存 ^-^

  • HogskinKitty 09-10 11:14
    12楼

    具体还是看具体什么场景什么任务，纯写代码这些，小参数的模型确实不太行

  • Natsuki 09-10 11:16
    13楼

    我没做什么优化，直接LMStudio默认参数跑的，实际优化空间还很大，自己lamacpp调一调参可以提升不少速度的

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐