8张5090本地部署deepseekv4flash

ivekasy 2026-08-16 15:30 1

效果如gif

最新回复 (47)
  • 大鲨鱼 08-16 15:30
    1

    牛逼,一辆车的钱了

  • AiLiBoss 08-16 15:31
    2

    200多token/s????厚礼蟹

  • mofe 08-16 15:31
    3

    token 自由了!

  • TianTangJun 08-16 15:31
    4

    牛逼。用的爽吗 ^-^

  • ivekasy 楼主 08-16 15:32
    5

    @TianTangJun #4 发布于2026/8/16 15:31:23

    牛逼。用的爽吗 ^-^

    还不错 最高的时候可以跑到300token/s 单路 只能一个人用


  • CuriousQTF 08-16 15:33
    6

    牛逼,但是电费也是一个开支

  • TianTangJun 08-16 15:34
    7

    老哥还是有钱现在8张5090 20多个W了吧,自己的?

  • zhanggege 08-16 15:34
    8

    量化过的吗 ^-^ ^-^

  • dawei77778 08-16 15:35
    9

    牛逼,这玩应很费电吗

  • 1104540247 08-16 15:35
    10

    卧槽啊,牛阿牛啊,第一次看到本地端那么流畅

  • coolpool 08-16 15:37
    11

    牛逼,token自由了佬

  • liangmin 08-16 15:38
    12

    niubi

  • DIgoodqi 08-16 15:39
    13

    爽啊 ^-^

  • taffymeow 08-16 15:40
    14

    多大精度? int4嘛 ^-^

  • PassionAries 08-16 15:41
    15

    那可是8张5090啊。8张 5090

  • waifush 08-16 15:42
    16

    我不敢想这有多爽,写代码要爽上天 ^-^

  • NicholasRobert 08-16 15:43
    17

    太牛了,这得比我家电费高出去好几倍 ^-^

  • ethanseeker 08-16 15:43
    18

    话说 dsf 最低配要多少显存能跑的算流畅?比如 30t/s 以上?

  • violet0 08-16 15:45
    19

    爽啊

  • Mr-mo 08-16 15:45
    20

    羡慕有钱人 ^-^

  • wmq 08-16 15:54
    21

    牛逼 这是真羡慕

  • misaka-kuka 08-16 15:57
    22

    卧槽,富哥

  • 江郎才尽 08-16 15:58
    23

    太牛逼了 好羡慕啊 部署视频生成模型应该很屌

  • yunvxin 08-16 16:01
    24

    够狠的啊,哪来的卡?

  • ivekasy 楼主 08-16 16:03
    25

    @yunvxin #24 发布于2026/8/16 16:01:57

    够狠的啊,哪来的卡?


    公司闲置的卡

  • ivekasy 楼主 08-16 16:03
    26

    @TianTangJun #7 发布于2026/8/16 15:34:20

    老哥还是有钱现在8张5090 20多个W了吧,自己的?


    公司机房的

  • chenhy1127 08-16 16:04
    27

    ^-^ ^-^

  • bx333 08-16 16:27
    28

    羡慕。但是多模态怎么办?

  • flycar08 08-16 16:42
    29

    大佬真是有钱

  • mizuka 08-16 16:45
    30

    ^-^ ^-^

  • Chipha 08-16 16:48
    31

    电费都不够买token的

  • yuyu 08-16 16:48
    32

    上下文最高支持多少

  • dtfour09 08-16 16:49
    33

    牛逼啊,我的梦想。 ^-^


    我是想通过一张5090 32g + 1tb内存实现。虽然会慢很多。

  • ivekasy 楼主 08-16 17:13
    34

    @yuyu #32 发布于2026/8/16 16:48:12

    上下文最高支持多少


    256k

  • ivekasy 楼主 08-16 17:14
    35



    最高可以300多token/s

  • atoz03 08-16 17:16
    36

    我用的 nvfp4,也能 150t/s 256k*2

  • dev-luke 08-16 17:18
    37

    超级无敌非常羡慕 ^-^

  • Ligneous 08-16 17:19
    38

    羡慕了,这么说来搞4张rtx pro 6000也可以

  • qiaoen 08-16 17:35
    39

    佬有算过这套部署后的日常机房成本是多少吗,和官方或者opencode套餐比,是不是能降低成本 ^-^

  • ivekasy 楼主 08-16 17:36
    40

    @qiaoen #39 发布于2026/8/16 17:35:06

    佬有算过这套部署后的日常机房成本是多少吗,和官方或者opencode套餐比,是不是能降低成本 ^-^


    肯定是收不回来的

  • ZySakura 08-16 17:37
    41

    8张5090能部署完整版吗?

  • ivekasy 楼主 08-16 18:03
    42

    @ZySakura #41 是的

  • WZ-Software 08-16 18:05
    43

    组团去楼主家偷显卡

  • Course 08-16 18:36
    44

    5090不支持NVLink吧,这怎么玩

  • glowmonster 08-16 18:41
    45

    ^-^ 好羡慕 ^-^

  • LoveYX 08-16 18:45
    46

    好羡慕

  • pan260 08-16 18:46
    47

    什么富哥

* 帖子来源NodeSeek
返回