个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型？既是自用，也是某种防止硬件涨价的投资？

“回本周期看起来还行”这个是如何得出的如此结论？

"回本周期看起来还行"
如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务？

@sentinelK 简单估算了下跑满的 token 产出量： https://v2ex.com/t/1232688#r_17950784

买 token 更换算吧

纯讨论啊，我觉得 AI 市场已经很泡沫了（单纯投资方面），靠倒腾硬件很容易跌个跟头。再说，怎么定义你说的“用完的硬件还可以二次出售”，你不用了，对别人还有用吗，硬件也会推陈出新，所以某一款硬件一直保持在高价位是不可能的。
虽然 deepseek 涨价了，一定使用量的情况下，还是比你自己维护要省心和便宜，我实在看不出来投资的必要，要不然我早入了。

如无刚需，感觉还是不要创造需求吧。

@sillydaddy 这个预估完全失真。

实际使用中，一定是在 harness 场景下，harness 有巨量的系统提示词，即便是计算上超高的缓存命中，prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度，你就会发现大概是 15~20 年回本。

纯经济考虑肯定是不划算的，自建基本是隐私因素

@sentinelK #7 如果有更小更强的模型呢，回本周期也会变短，咋说呢，都是赌。哈哈。我去年买的显卡还涨价一点点

@privil 但是楼主押宝的是 GB10 ，他的“显存”带宽很小。如果楼主买的是 rtx pro 6000 maxQ ，4 卡集群，我都认为合理。

GB10 就注定了大模型能跑，跑不快，小模型跑不过显卡。

AI 泡沫不炸之前，肯定划算。。。因为硬件保值。不考虑硬件的话，绝对不划算

op 买四台 4090 都比这个跑的快

@sentinelK #10 这玩意最近几个月都翻倍了。那是真炸裂啊

@privil 主要是还有个 Minimax H3 ，这个相比较 qwen3.8-27B ，要更炸裂一点。

相当于把 seedance2.0 的生产力下发给了终端。

@sentinelK #7 就算按 7:3 ，也不是 15~20 年啊，最多翻个 3 倍，算 10 年。

主要是这种估算变数比较大：
那里面估算的时候，取的是平均单次 API 调用花费¥0.004 ，这本身就有些低估。而且现在涨价了，估计单价这项得翻个几倍。
再加上多路并发，也可以有个几倍。

@sillydaddy 硬件如果要 10 年回本，那可以认为全生命周期就是无法回本的。

这里还存在新的软件架构不支持老硬件的风险

上游租用 gpu 部署模型也没大幅涨价吧，买全款和那些 21 年上车房子的有啥区别

DGX Spark 硬件只能跑量化模型吧？

到目前为止 隐私定律还在发力 除非 ai 厂商真的要涨价 10 倍

OP 了解一下 GDDR7 和 LPDDR5X 的区别

#15 估算变数本来就很大，哪家公司出一个中等智能的低价私有模型就能直接把你的本地部署打趴下。
而且你是按照官方 API 计价来算钱的。众所周知官方 API 价格是个人订阅价格折算单价的 20 倍以上。
你从一开始就是按照普通人能接触到的价格的 20 倍来计算回本。
我可以帮你开个 AI 计算器算一下的价格。
在输入输出 token 比 99:1 ，缓存成功率 98%，输入 1000tok/s ，输出 60tok/s 的条件下，24x7 跑满：
输出 token 272.5M/y
缓存输入 token 26.4B/y
非缓存输入 token 539.55/y

按照 deepseek 涨价后价格取平均价：0.99/M 0.01/M 0.33/M 来算，完全跑满的总价值是$700 左右。

但如果买 gpt 订阅跑 luna max ，智力水平基本接近，但一个$20 的订阅一个月至少能用$500 价值的 API ，2 个月的订阅就可以跑出你私有硬件一年的量。

你自建，除了自己买硬件以外，还要交电费，还要忍受 60tok/s 的低速产出，还要 24 小时不停喂数据才能跑足价值，然后你要谈回本周期。你这回本，回的是什么本？

我突然觉得，买硬件来跑开源模型的事情，有点和当年买房和租房的逻辑差不多。
租房党觉得用首付就能住到天荒地老，买房党觉得房价能上涨。

如果考虑到硬件慌在未来 3 到 5 年里无法缓解，叠加硬件价格上涨，那买硬件的逻辑是否就更加合理了？

当然可以作为奢华玩具买，不适合投资。要保值建议入手 rtx 5090 ，因为显卡还有游戏玩家，二手流通性高，可以去咸鱼上看看成交记录。

我自己就有一个 amd ai max 395 的机器，作为主力机，本地模型推理是可以，只要你不在乎发热和噪音和速度就好，本地模型只能跑 30b fp16 左右的，显存 96gb ，聊胜于无。

token 涨价有一部分是硬件因素，同时也有模型本身性能提高的原因
直白一点，半年后 token 涨价了，但是你的新设备可能已经运行不了当时的最新模型了

奢华玩具+1
本地算力这种东西目前还没有成熟，能做得事情对比在线大模型，性能和效果都要差很多。
真指望他输出 tokens 赚钱，不一定收得回电费成本。

我们这也搞了台 amd395 ，和 dgx 差不多，我个人的感受是带宽限制的原因，要真正作为生产力工具不太合适。端侧模型和推理引擎在不断进化，这种本地算力的机器或许能发挥更好的能力，但是我也担心这类机器其实会不会和手机一样，也是会不断进化迭代的，现在觉得 amd395 、dgx spark 是比较好的选择，那过两年说不定有更好的选择，这类机器会不会沦为老古董呢？玩玩肯定是可以的，但是作为投资个人觉得没有太大意义。

需要音视频&图像编辑或者 ai 制作的完全值得, 纯文本类 LLM 不是很需要

@ytmsdy 这个逻辑一直成立，但是楼主选错了硬件。如果是多显卡塔式工作站，他说的结论就没什么问题。
但楼主选择的是统一内存 GB10 。

统一内存羸弱的内存带宽就导致跑任何模型都只能浅尝辄止。

已经入手了：


我觉得你特指内存 128G 左右的硬件，能做什么，可能未来做专项任务还不错，在 128G 的范围内，数据量足够的低推理能力的专项任务。

这些硬件最终的结论，就是接盘侠或烂在个人或贩子手里，因为这是短期资本买不到硬件的炒价竞争，未来资源供应能力上去，这点资源完全不需要，直接生产像 TPU 这种专用卡就足够了，通用卡成本完全干不过专用卡。

@sentinelK 两台 DGX 能完美运行 DeepSeek V4 Flash ，自己搜搜最近涨幅把

目前看自建的主要优势是敏感、隐私一类需要保密的数据不需要发送给第三方也不需要经过第三方审查过滤，单纯从用量上算并不是很划算

@Rothschild 要不要先定义一下什么叫“完美运行”，prefill 的速度是多少 t/s?

@sillydaddy 4699$ 买一个 dgx spark 的钱足够买 4 年 ChatGPT/Claude 5x 了，还比本地模型好用很多

@msg7086 你是不是算错了😂，2 台 DGX Spark 跑 DeepSeek-V4-Flash ，一天至少 1000 万~2000 万纯输出 token 的。
不过订阅倍率这个，我确实给忘了，哈哈，如果按 20 倍倍率，那肯定是回不了本。 @liulihaocai

@sillydaddy 我算的时候把输入的时间也算进去了，确实低估了一些。

首先个人很难跑满 token
其次硬件价格相对去年，已经涨的太高了。对比过去几次矿潮/内存涨价周期，目前可能在高点
最后即使有 dgx/5090/aimax/m4max 等机器跑本地模型，codex 订阅/grok 订阅可能在便利性/功能/价格上更有优势

@kdwycz 我可以跑满，真的。而且还有 10 倍的缺口。每个人的情景和用法都不一样，跑连续自主的 Agent 非常烧 token 。

我年初买了几台 macmini/aimax 。最后发现收益最大化的方案是挂闲鱼。可惜当时显卡选的是 5090 不是 pro6000

@sillydaddy #38 按 1 台机器满载每天 50m token 的话。codex 开个 200 刀的套餐应该能把 10 倍缺口直接补足。不过很好奇楼主的 agent 用来做什么

没必要，还不如研究一下相关的股票，未来产能扩充，硬件价格必然回落。按照目前大模型的更新速度，就打 1 年 1 变化，出现更强的模型，但是自己的硬件不能部署怎么办，那就要砸自己手里面了，3-5 年之后不知道啥情况呢。

当然都是赌，如果你有业务话，那自建可以考虑，纯粹自用的话，个人感觉不太划算哈，当然这个也可能看错，影响 up 赚钱。

@kdwycz #40 是一个数据采集项目： https://v2ex.com/t/1215475#r_17684892

@sillydaddy 40 多，本地干活足够用了

@sillydaddy 需要本地 llv 和肯花钱的人根本不是因为便宜与否的问题，大量场合需要隐私和数据安全缘故，也有很多公司禁止数据上网

我建议你不要买，因为我是真的已经买了 dgx spark ，当时京东 3.2w 买的，刚到手 1 周之后就官方涨价了。
这个玩意只能部署个 qwen3.6-35b-a3b 之类的模型，最大的优势是无审查模型，搭配 hermes 之类使用还行。
如果用来 coding 就不行，大模型智商捉急。

不建议买，本地开源模型差距还是挺大，月初买了 170hx 8g ，破解后 64g hbm ，跑 8bit qwen3.8—27b ，开 mtp 后输出 60+token/s,256k 上下文，接入 codex 勉强能用。这张卡感觉即使在涨价之后价格也不贵，但是现在没有靠谱渠道，需要赌，矿卡的寿命也是问题，hbm 内存和核心是一体的，内存坏了整张卡报废，完全没法修。对了，这张卡在破解出来前 1000 出头都没人要，现在卖六七千，商家随时砍单，不退不换没有任何质保，正常人都不会买，但是这是性价比最高的单卡 64g 方案了

你那个算的有问题 一个是 71e token 居然要 68000 ？我前几天一天跑了 3e 还是多少 token 连 opencode 的零头都没跑到 再一个三年模型都迭代不知道多少了 对应设备能产出的 token 价格说不定可能会下降（）

不对 你按输出算的 那当我没说

@iphoneXr 你只需要再买一个就能 40token/s 跑 deepseek V4 Flash

一个 DGX Spark 大概 4700 刀，部署个有实际使用价值的模型，至少得 2 个，也就是 9400 刀。

按 GPT 200 刀订阅算，可以订阅 47 个月，也就是接近 4 年。

这里且不考虑你能部署的模型能不能比得上 GPT ，哪怕就当他是水平接近。

那么现在回头看，四年前的硬件，现在还值多少钱就知道了。

不过这个周期正好经历了 AI 起飞的阶段。

除了隐私已经没有任何优势了。富哥建议买个来做本地 qwen27b 和 qwen35b-a3b ，学极客湾那样部署。家庭 agent 足够使用

可以持币，等着买下一代，显存/内存带宽实在捉急，发售前砍了一刀…2333

现在这个放 Claude Code 里，自带的前置上下文太长了，TFTT 要等非常久，但生成速率到了可用的水平，30 ～ 40 tok/s

DGX Spark 从玩的角度来说是一个好玩的硬件，开箱就有配好的 NV Driver 和 CUDA 环境，不占地方，也没有噪音。

4TB 存储对于很多个人场景都很够用。

还要考虑一件事情，如果 3 个月后出了 deepseek 4.5 flash ，双 dgx spark 跑不动就尴尬了。

如果企业需要数据保密需求，可以考虑私有化部署，个人不建议。

我觉得再等一两年，看看大模型会发展到啥程度

这玩意儿也就图个省电和显存大，真跑模型 单台跑 qwen3.8 27B 还不如 AMD 7900XTX 呢，这好歹还便宜好多。

@yinmin 一个常识是多少显存固定跑多大参数 llv ，每次大模型升级都是这个参数，基本都是 9b 13b 27b...不可能跑不了更好的

@niubee1 只需要再买一个就能 40token/s 跑 deepseek V4 Flash

你做这件事唯一不亏的可能就是未来大模型硬件继续涨价，然后你买的 spark 跟涨你直接给他卖了

@sentinelK 我在 dgx spark 上面部署了一个 minimax ，跑 5 分钟机器直接过热关机（房间没开空调）