2. NodeSeek
  3. [分享] colibri，纯 C 写的推理引擎，号称能在普通机器上跑 744B 的 MoE

[分享] colibri，纯 C 写的推理引擎，号称能在普通机器上跑 744B 的 MoE

a707214982 2026-09-30 10:37 1

本周 trending 第一，colibri，纯 C、零依赖，跑 MoE 大模型的。


思路挺有意思：MoE 每次推理其实只激活一小部分专家，作者就把不常用的专家权重扔磁盘上，按需流进来。readme 里写 744B 的 GLM-5.2 常驻内存只要 9.9G，听着就离谱，但细想又有几分道理。


支持 GLM、Kimi K3、DeepSeek、Qwen 好几个家族，有中文 readme，还有个 web 面板能看专家激活情况，Apache 协议。


硬盘够大的可以试试，我先 mark 了，有跑起来的兄弟分享下速度？


GitHub：https://github.com/JustVugg/colibri

最新回复 (4)
  • skysailing 09-30 10:43
    1楼

    6× RTX 5090，全部常驻：解码 5.8–6.8 tok/s，TTFT 约 13 秒


    太慢了吧

  • a707214982 楼主 09-30 10:47
    2楼

    @skysailing #1 确实是慢了点

  • kevin77 09-30 10:49
    3楼

    听着就很慢

  • a707214982 楼主 09-30 11:59
    4楼

    @kevin77 #3 实际也慢 ^-^

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐