2. Linux.do
  3. 转载一篇优秀的GLM5.2部署的教程

转载一篇优秀的GLM5.2部署的教程

Spectra 2026-06-23 10:15 1
最新回复 (4)
  • doop 06-23 10:17
    1楼

    谢谢分享，对于有资源的佬们，unsloth是个非常好的解决方案，在ds 3时代用过，很不错

  • AmeowCAT 06-23 10:19
    2楼

    Unsloth开源GGUF量化里面很出名了吧 我最早也是从他们文档里面学到能把MOE层卸载到内存 可惜现在内存太贵了 GLM-5.2就算1bit量化也要200多G内存 ^-^

  • 等待哥 06-23 10:32
    3楼

    本地部署这个，需要什么卡，4090能部署上吗，24G的

  • HeriX 06-23 10:51
    4楼

    消费级显卡就算了

    就算是专业卡, 也要很多块, 比如 H200 * 8

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐