怎么自己跑模型、token出来？

农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人） 2026-06-26 15:57 1

前言是，我在廊坊有机房（空的），然后跟合伙人讨论怎么去卖算力？昨天跟合伙人沟通了下，觉得这个方向也可以。但是有些疑惑

假设说，我现在H200、B300这些卡也到了，我的机房设施完善（背书都有）。我怎么跑出来API能开始卖token？

我搜索了下方案，目前网上有 挂到算力市场出租、 接入去中心化算力网络、 自己做模型 API / 推理服务

我感觉我应该是需要第三种，因为确实有客户跟我沟通说需要这个东西也能去投标大企业，大概到意思是 gemini的多少钱、openai的多少钱？

那我下一步应该怎么做？市场价格是怎么样的？

有没有佬给解惑？

最新回复 (19)

o` 06-26 16:00

1楼

gemini的多少钱、openai的多少钱？

这两个是闭源的你部署不了，只能部署国内开源模型
湾狐狸🦊 06-26 16:01

2楼

基本上也只能是跑一跑开源模型 (DSv4 Pro / Flash, GLM-5.2, Kimi-K2.6) 之类的

接下来估计是先搞定推理服务/资源调度啥的

价格的话感觉基本上可以参考这些模型的API官方价
DS 06-26 16:01

3楼

做中转的话不需要显卡只需要网络畅通+考虑并发就完了

刚刚L站好像卡了。。。我看到你的回复通知了但也没刷出来你的回复
neteroster 06-26 16:01

4楼

（帖子已被作者删除）
LingEasy 06-26 16:02

5楼

自建立基本上很难。你如果卖的人多你扛不住，如果你卖的人少你算力空闲。价格高没人要，价格便宜不回本。
ishadows 06-26 16:02

6楼

你找个ai交流清楚吧，什么是开源模型，模型怎么部署，怎么提供接口服务
指挥官Alzar 06-26 16:02

7楼

建议部署GLM 5.2吧这个目前还是非常炽手可热的应该能带来比其他模型更高的收益
trrnc 06-26 16:02

8楼

除了佬们上面说的DS，kimi，glm之类的也可以看看生图、生视频模型，都有开源的。去huggingFace上看看~
农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）楼主 06-26 16:04

9楼

奇怪啊，那为什么我有个客户问我这个多少钱？难道他以为我是卖别人的token的？
农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）楼主 06-26 16:04

10楼

我今天对的一个客户说，国模他们相不中。
一起打篮球吗🏀 06-26 16:04

11楼

大概只能部署国内开源模型，你要算下成本，估计要 5 折以下，可以报价给我，作为渠道接入，上市公司
农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）楼主 06-26 16:05

12楼

你设备上跑你只需要做个中转就行了

那我还需要那么好的显卡吗？或则还需要什么
ningn 06-26 16:05

13楼

自己做基本也就是部署一些开源模型，如果有技术自己精调一下，没有就直接提供API来卖了
Doori Kiss 06-26 16:05

14楼

你自己部署卖出去的成本不可能比大厂低
农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）楼主 06-26 16:05

15楼

那这种不算太好的模型有人买吗？我看很多客户都是瞄准了国外模型的
农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）楼主 06-26 16:06

16楼

这个我还在摸索的路上，如果能搞得下来当然可以提供合作
mao 06-26 16:06

17楼

买卡然后部署国内的开源模型 DeepSeek 和 glm
shock 06-26 16:09

18楼

你去找智谱。我记得他们有toB 的私有化模型部署服务。

他们部署好，你们对外卖就行了。现在好卖。
kyle 06-26 16:09

19楼

佬们，本地买设备部署开源模型大概费用是多少呀？有了解过的吗，需要准备些什么

* 帖子来源Linux.do

附近帖子

飞读

农民歌手朱之文先生（大衣哥/现金王/国际巨星/名人）

主题数
1

帖子数
1

注册排名
3

随机推荐