2. Linux.do
  3. 双 3090 跑 qwen 3.8 27b q8 拉爆 4090! 并发 1 - 80.95 t/s + 并发 8 - 124.87 t/s

双 3090 跑 qwen 3.8 27b q8 拉爆 4090! 并发 1 - 80.95 t/s + 并发 8 - 124.87 t/s

VeroFess 2026-08-18 20:44 1

长话短说: 用 llama.cpp 官方版跑 qwen 3.8 28b q8 慢的人头疼, 于是就重写了亿点点…



来看战绩!

最新回复 (7)
  • ischen 08-18 20:48
    1楼

    最近也准备自部署个玩玩，有开源计划吗佬

  • 南风起 08-18 20:51
    2楼

    佬，一样的卡，求开源啊，写代码效果可以吗，看数据挺强的

  • VeroFess 楼主 08-18 20:57
    3楼

    已经开源了，但是懒得整开源推广那一堆东西，自己找找吧 @ischen @NanFengQi

  • leioukupo 08-18 21:12
    4楼

    单3090 16g内存能拉多少上下文

  • VeroFess 楼主 08-18 21:15
    5楼

    3090没有16g这个型号吧？如果说单卡的话可以q4拉满262144，但是那个优化我没上传

  • lynn168 08-18 21:17
    6楼

    我说可能啊 有没有可能是Qwen3.8 27B

  • VeroFess 楼主 08-18 21:18
    7楼

    改了改了! 刚刚脑子卡了… 咳咳咳

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐