2. Linux.do
  3. 奉劝买macmini 理由是为了自己部署模型的人早点放弃

奉劝买macmini 理由是为了自己部署模型的人早点放弃

YAOHUO 2026-10-23 19:54 1

96G显存的NVIDIA RTX PRO 6000 部署GLM-5.3-Flash-IQ4_X 跑个鹈鹕跟个龟速一样,花了30分钟



其他模型也试了,Ornith-1.5-122B-Q5 ,Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16,基本跑出来的鹈鹕轮子是飞掉的


佬们还有其他小模型推荐吗


最新回复 (10)
  • Stone 10-23 19:55
    1楼

    自己部署模型，我感觉没有什么意义，如果是企业的话，小企业的话，他可以买几个mini合并起来，自己做一个属于自己的知识库，这个是可以的然后，他想搞那种大模型的话，我感觉是不现实的

  • Pokeman 10-23 19:55
    2楼

    自己部署的话估计是混元这种翻译了

  • Kassdin 10-23 19:56
    3楼

    Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16



    这两模型不应该鹈鹕都画不好吧？是不是部署出了问题

  • Dowad 10-23 19:56
    4楼

    要接受有人万元耳机只为听个响，真就图一乐

  • bittenbydog 10-23 19:57
    5楼

    没有 离线/敏感/私有化 需求的话，还是别折腾了，感觉没什么太大必要。

  • YAOHUO 楼主 10-23 19:57
    6楼

    我感觉也就翻译和OCR实用点 其他的差点意思

  • Pokeman 10-23 20:00
    7楼

    差不多，要么就布置那种中小参数的，比如9B这种甚至更低，一般参数越小越快，像那种20+B的跑起来也吐字慢

  • 毛毛虫 10-23 20:26
    8楼

    不应该是用来部署nsfw的画图模型吗^-^

  • 时牧 10-23 20:27
    9楼

    一般用来玩图片生成这种吧，为了无审查

  • YAOHUO 楼主 10-23 20:27
    10楼

    哈哈哈 我是要成为 X漫榜首的男人

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐