2. Linux.do
  3. Qwen3.8-27B-Q6 在本地运行效果很不错啊

Qwen3.8-27B-Q6 在本地运行效果很不错啊

3vilk1ing 2026-08-22 19:31 1

设备 4080Ti super+4070Ti super 内存 64G DDR5,有这个速度很满意了，上下文能开到128K





实测写代码，做代码审核很能打

最新回复 (3)
  • W1nge 08-22 19:53
    1楼

    这是流水线并行吗？

    佬有没有试过张量并行，可以跑到多少

  • 求余 08-22 19:58
    2楼

    不知道英伟达 Tesla T4 两张加起来 32G 的显卡能不能带得动？

  • 安德鲁 08-22 20:01
    3楼

    可以，运行 APEX Mini量化版本，搭配MTP，最快24 token/s，上下文开到196K。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐