2. Linux.do
  3. 本地跑qwen3.8 27B

本地跑qwen3.8 27B

bookandcode 2026-08-19 22:49 1

魔改的 RTX3080 20G显存， 跑的 Qwen 3.8 27B 100K, 速度只能跑到50tps/s

第一遍跑的效果没法看，改了两轮效果还凑合，感觉以后真的可以本地跑代码啦


最新回复 (4)
  • 佬友记 08-19 22:53
    1楼

    效果可以的，要token自由了 ^-^

  • bookandcode 楼主 08-19 22:55
    2楼

    唯一不好的就是有点慢，只能丢那让它自己跑

  • yous1r 08-19 23:08
    3楼

    （帖子已被作者删除）

  • hhh 08-19 23:43
    4楼

    佬，请问可以参考一下配置吗，我用vllm部署的速度超慢

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐