2. Linux.do
  3. 关于本地模型部署的疑惑

关于本地模型部署的疑惑

Skyirdfish 2026-10-20 19:38 1

想问问大家本地部署的模型都有什么？除了qwen系列有没有别的？有没有投入日常的生产，怎么投入的？还是仅仅玩角色扮演？ ^-^ ^-^ ^-^

最新回复 (11)
  • Shikanor 10-20 19:47
    1楼

    我不确定能不能行，我觉得可以部署训练一个Laya去充当决策子节点

  • Grogu 10-20 19:49
    2楼

    本地模型很多，除了 Qwen，还有 Gemma，Deepseek，GLM，Cohere 的各种， Mistral 的，IBM 的 Granite 等等，用于不有数据安全隐私需求的 Agent

  • 时牧 10-20 19:54
    3楼

    本地部署这块，个人用户还是玩生图和视频的多一点，无审查随便搞

  • gangpula32 10-20 19:56
    4楼

    还有个叫minicpm的小模型，别的只有千问了

  • leioukupo 10-20 20:27
    5楼

    一般都是qwen吧

    我部署了3.8 27b写一些小项目，还行

    但是关于嵌入式的就不行了

  • lihua 10-20 20:30
    6楼

    本地也就玩玩生图生视频了，语言模型要上硬货才能部署能用的，小参数的纯玩具

  • Skyirdfish 楼主 10-21 00:14
    7楼

    minmaxh3,还有前一阵子的qwen image 2.1我都尝试过，动漫的还有anima,3d建模的也尝试过

  • Skyirdfish 楼主 10-21 00:15
    8楼

    显存12G,确实有点卡脖子，小参数就只能当玩具了

  • Skyirdfish 楼主 10-21 00:17
    9楼

    3.8 27b量化是多少？27b好像确实是本地模型最能打的了，还有多模态

  • leioukupo 10-21 00:18
    10楼

    hyperqwen

    算是int4量化吧

  • Skyirdfish 楼主 10-21 00:18
    11楼

    自己训练的吗？这个我没尝试过，可以看看

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐