2. NodeSeek
  3. 时不时的想部署本地模型

时不时的想部署本地模型

bigbug 2026-08-14 11:26 1

时不时的想部署本地模型

最近又刷到 Mac studio 512g统一内存跑721b的dp

但是这玩意好像应该贬值也快吧 我之前买的苹果垃圾桶都成废铁了 挂咸鱼上 买家只要机箱。。。。

最新回复 (10)
  • leeFu 08-14 11:29
    1楼

    要不要试试小模型。https://huggingface.co/Qwen/Qwen3.8-27B 今晚qwen3.8会发布27b ^-^

  • bigbug 楼主 08-14 11:31
    2楼

    @leeFu #1

    我的x99 已经能跑满血30b了 索然无味了 想跑大的了

  • KYLIN2333 08-14 11:31
    3楼

    部署一次你就不想了 ^-^

    上下文一长显存爆炸，接入搜索效果不如原版或者api，部署好的模型很容易莫名其妙死掉，需要的配置也很高，折腾半天还没20刀的gpt好用 ^-^

  • taiyang-139 08-14 11:34
    4楼

    直接开干别犹豫

  • volibear 08-14 11:34
    5楼

    @bigbug #0 其实部署啥的是小事，

    如果你经常用，那个电费，是真贵

  • bootloader 08-14 11:37
    6楼

    @bigbug #2


    99啥配置呢？参考一下

  • 辟支独绝 08-14 11:38
    7楼

    财力雄厚

  • bigbug 楼主 08-14 13:54
    8楼

    @bootloader #6

    e5 2686 v4+ 垃圾箱捡的ddr3+十年前闲置的垃圾电源+1060亮机卡+v100计算卡+床底下翻出来的256g的m2 然后花200买了个x99主板 =总花费200元

  • bootloader 08-14 14:04
    9楼

    x99 怎么是配的3代内存？


    @bigbug #8

  • bigbug 楼主 08-14 14:10
    10楼

    @bootloader #9

    买的时候就特意买的ddr3的板子 因为家里ddr3闲置的太多了

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐