DGX Spark 科研

DGX Spark好像是4060ti的水平 ^-^

慢是最大的问题,推特有人骂NV限制最大功耗,算力拉不上去.当然运行很快也不会卖那么便宜了.

别指望这种级别的本地部署了，也就比395+强一些，速度和智力都满足不了要求的

2080ti或者3090那些改了显存的版本看看怎么样。实验室微调训练很在乎速度吗。

先跑起来再说吧 ^-^

DGX spark的话它就是统一内存，比较大，但是它的带宽比较小，计算的速度比较慢。我个人感觉它更适合能把一些大模型跑起来但是速度要求比较小的情况下使用。

可以接受稍微慢，但是别慢的离谱就行了

我看网上的测评都是比较推理吐字的速度，我的场景不是这个所以不太确定使用体验如何，前来咨询各位佬

自费用基本都是3万起步了，捡洋垃圾老ai卡（Quadro RTX 8000 48GB，V100 32GB）估计还得用nvlink，怎么算都大出血，没一个值得，不提供算力建议放弃

lora微调占用显存也取决于具体的配置，比如rank和微调模块，显存不够的话还有cpu offload或者是gradient checkpoint，甚至还能降低一些精度，用bf16去训练，我相信写在论文里也不会被挑刺的。就我已中论文的经验来说，20B以内的模型就够发论文了吧，30B微调的话有点费时费力，实验迭代慢。

如果愿意的话，24G以内的卡就足够微调13B以内的模型了，大部分情况下都可以的。如果要单卡微调更大的模型，48G的卡也可以了。要买的话推荐3090，价格比较稳定，而且也支持nvlink，算力差无非等久一点，但同样的价格买4090都可以两张3090了吧，并行跑实验，一张长期跑，一张测试，我觉得效率也会高很多。也没有必要上5090，可能实验跑完了自己都还没分析完数据呢。除非你其实还想打游戏 ^-^

想了想双3090+nvlink更好，能当48G来用，还可以学习一些分布式训练/推理的经验。

感谢佬，双3090很不错的思路，我目前有一个单独的4070ti和共用的4090勉强度日，30b现在我的研究计划和baseline模型确实用不到，主要是想未来两三年稳定一些不会因为显存性能问题再到时候去找资源拓展 ^-^

4070ti的显存实在太小了，共用4090处处受限。不用考虑太远吧，当下够用就好，相信未来自己的智慧 ^-^

别看显存大，你用不了全部显存，而且速度过于感人，属于推理都嫌慢的东西。

为什么大家都只测试了推理，因为推理已经不快了，训练就更没法看了……这玩意属于和 300I DUO做一桌的水平

用双 3090 + nvlink 的感想

不如一张 4090 48G ^-^

3090有吗，2080ti知道有22g的(不过魔改就只能用特定驱动了)

收不要的双 3090 + nvlink，100块邮费到付 ^-^

价格差多了吧，应该不能直接这样比较

找找魔改的卡，之前有人把消费级显存加到 128G，刚路上看到新闻有人利用啥技术把矿卡弄成了算力卡，当然算力比 A100 差，但是能跑模型，我等下找到链接丢下面

差 6K 左右吧

说少不少，说多不多