2. Linux.do
  3. Bonsai-2-27B:基于Qwen3.8 27B的究极量化几乎无损性能版

Bonsai-2-27B:基于Qwen3.8 27B的究极量化几乎无损性能版

fengchris 2026-09-18 09:25 1


官方博客：PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint



权重：Bonsai-2 - a prism-ml Collection

最新回复 (19)
  • eugene 09-18 09:28
    1楼

    我去画个鹈鹕试一试，看起来大小还好

  • 咪叭 09-18 09:29
    2楼

    怎么Agentic 和 Coding, 3.8 比 3.6 还低？

  • fengchris 楼主 09-18 09:29
    3楼

    等佬友的测试 感觉8G就能跑起来了 不知道速度怎么样

  • v0ens 09-18 09:30
    4楼

    Ternary-Bonsai-2-27B-PTQ1_0.gguf


    Q1_0 还能正常用吗？ ^-^


    PTQ1_0（密集三进制） 这好像不是我们平时理解的 Q1

  • AmeowCAT 09-18 09:31
    5楼

    之前Qwen3.6时候也是这家 量化到Q1说是有95%的性能 一直不知道是什么黑科技

  • vfx 09-18 09:31
    6楼

    可以的，unsloth以前就宣传用1bit写代码来着。不过尽量用2bit吧。

  • 8817 09-18 09:32
    7楼

    等个实测，看看到底有多猛

  • 咸鱼 09-18 09:32
    8楼

    这么小，可以本地部署玩了，不知道智商跟不跟得上

  • v0ens 09-18 09:36
    9楼



    尝尝咸淡

  • Eic 09-18 09:36
    10楼

    大概率是吹的，上一代就拉完了。

  • 金陵雪 09-18 09:49
    11楼

    等个佬测试反馈，我是不信的，这些人的数据真的离谱

  • 行云 09-18 09:57
    12楼

    等大佬测试，看看这个PQ2的效果如何

  • mendon 09-18 09:58
    13楼

    等大佬们的测试结果，看一下性能怎么样？

  • v0ens 09-18 10:04
    14楼

    PTQ1:




    糖果问题雷霆大思考之后还是29

  • v0ens 09-18 10:06
    15楼



    这也太能思考了吧… 等的着急

  • v0ens 09-18 10:13
    16楼

    不知道是不是死循环了

  • xephyrin 09-18 10:16
    17楼

    急急急，速更，日不能寐，在写一千万token的 ^-^

  • aikooor 09-18 10:17
    18楼

    这个跟qwen3.5-9b-6bits的官方量化版本哪个好一些…看起来显存基本都一样大

  • v0ens 09-18 10:22
    19楼



    折磨人

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐