2. Linux.do
  3. 暴论：显存带宽：dgx spark 1g/s= mac/amd 4g/s

暴论：显存带宽：dgx spark 1g/s= mac/amd 4g/s

欣 郁 2026-07-14 07:45 1

如题。

可能“苹果8g ram=windows 16g ram”是笑话，

但显存带宽的角度，“dgx spark 1g/s= mac/amd 4g/s”绝对不是笑话？


因为：

1）nvfp4的量化格式几乎没有量化损失；

2）dgx spark支持nvfp4的存储和计算；

3）mac和amd显卡仅支持4-bit存储，4bit量化的模型仍需反量化到16bit才能被计算


所以如果认同nvfp4的质量，可认为dgx spark的显存等效800g/s的mac显存。


推论1:

Q4量化对m3 ultra/m4 max无意义。

若不爆显存，则16bit模型比4bit量化版的解码速度更快——因为后者还要额外的反量化时间。

Q4量化对mac仅仅只有存储意义。

但若一个模型在mac上要Q4量化后才能装下，考虑到mac的显存显著高于带宽，则吐字/生图速度极慢，几乎没有使用价值。

最新回复 (5)
  • 欣 郁 楼主 07-14 07:52
    1楼

    题外话就是，在内存价格飞速上涨、苹果下架大显存mac的时代，如果m6能加入不同精度计算的加速，是不是产品力立刻突飞猛进？


    考虑到M5 gpu已经加入了类似nvdia的tensor core，这似乎并不是梦想？

  • neteroster 07-14 08:01
    2楼

    不是… 这有点离谱。反量化是在kernel内进行的啊，显存/内存到kernel这一段用显存带宽的部分仍然是传输的量化权重，你随便找点decode数据看也能快速验证这一点。


    所以推论也是有问题的，发表暴论之前至少先做点实验，最少也是找点数据验证自己的想法吧

  • 欣 郁 楼主 07-14 08:12
    3楼

    额，主要是我之前发现：

    1）我用m4 pro 48g，跑zimage turbo，发现Q4 zimage的速度甚至比Bf16 zimage慢一点点（1024*1536下，17s/it vs 16s/it）

    2）我用4070tis跑ideogram4，我发现nvfp4的速度不如fp8的速度(3M分辨率下，12s/it vs 8s/it)


    这两个情况我想了下，应该都是不支持量化下加速的缘故？（mac不支持4bit的精度计算，4070tis不支持nvfp4；二者的意义仅仅是存储）

  • 欣 郁 楼主 07-14 08:14
    4楼

    稍等ideogram4的速度我忘了，我回头再看下——但确实对4070tis而言，nvfp4不如fp8

  • 欣 郁 楼主 07-14 08:16
    5楼

    但“mac跑Q4 zimage的速度和Bf16 zimage差不多甚至略慢”是真的，且都不涉及到爆显存，由此我才想到量化的存储和计算问题

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐