2. Linux.do
  3. 天顶星量化技术-Qwen 3.6 27B -> 2Bit / 1Bit 90% 评分保留

天顶星量化技术-Qwen 3.6 27B -> 2Bit / 1Bit 90% 评分保留

明夕 2026-07-15 15:48 1






















已使用 M5 Pro MacBook Pro 严肃测试 2bit，天气卡片是 2bit 的效果


链接：

博客： PrismML — Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone

The Information： https://theinformation.com/articles/khosla-backed-startup-claims-breakthrough-largest-ever-ai-model-iphone

CNBC： Apple in talks with startup that shrinks AI models to run on an iPhone

白皮书： Bonsai-demo/bonsai-27b-whitepaper.pdf at main · PrismML-Eng/Bonsai-demo · GitHub

模型： Bonsai 27B - a prism-ml Collection

WebGPU 演示： Bonsai 27B WebGPU Kernels - a Hugging Face Space by webml-community

API 接口： PrismML Ternary Bonsai 27B API | Together AI

GitHub: GitHub - PrismML-Eng/Bonsai-demo: Bonsai Demo · GitHub

http://docs.prismml.com

Discord: PrismML

加入我们： PrismML — Concentrating intelligence

最新回复 (17)
  • 皮蛋 07-15 15:52
    1楼

    感觉效果还不错，多少得去尝尝咸淡

  • mimi 07-15 15:54
    2楼

    这真是椅子瘫坐在核弹上看到爆炸了，还有其它测试吗？

  • 明夕 楼主 07-15 15:56
    3楼

    晚上回去用 5070Ti 跑一下其他的看看

  • 怀疑论的循环 07-15 16:31
    4楼

    看着不错啊 等下就跑起来试试 ^-^

  • 黯绛 07-15 16:32
    5楼

    真的假的，手机跑27B？

    立马试试27B 2bit 5070ti

  • gugu 07-15 16:40
    6楼

    5060Ti 16G能跑起来吗？

  • 王富贵儿 07-15 16:41
    7楼

    肯定可以 2bit 模型大小7G多

  • SpookerV5 07-15 16:44
    8楼

    2b模型，我觉得尘封很久的macbook air m1也可以一战了

  • kakakaka 07-15 16:52
    9楼

    岂不是性价比爆表，尴尬的12GB也可以搞起来了

  • AmeowCAT 07-15 17:01
    10楼

    2bit量化只有5%的损失 这也太黑科技了 ^-^

  • quiz 07-15 17:23
    11楼

    那基本所有终端都能用了，电脑 手机 车机，甚至电视

  • quiz 07-15 17:27
    12楼

    有佬部署了吗？手机4g,电脑6g内存，神奇

  • 王富贵儿 07-15 17:33
    13楼

    不是的，他显卡有16G显存，和内存不是一回事，纯CPU加载慢出天际 ^-^

  • Linggan-ua 07-15 21:18
    14楼

    cy 5070ti的测试结果 ^-^ ^-^

  • quiz 07-15 21:25
    15楼

    这年头都是统一内存了. mac早就能直接用内存当显存了

  • openff 07-16 10:19
    16楼

    有大佬部署过 28b吗？是否能达到人类硕士智力水平吗？什么场景基本解决？幻觉率咋样？

  • ajax 07-16 10:21
    17楼

    qwen不愧是量化的王者，爆炸新闻一个接一个

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐