关于合力租算力搭建大模型

没办法高效调度和满载利用的话是不可能划算的

@ktyang 5 ，6 个人这样规模的是不是应该可以应付？

怎么解决高峰时段大家都想用的问题呢？

@azuis 这个问题或许只能实际部署下试试

你讲这个话前，先去调研看看算力租赁什么价格吧...H200 一个月十几万。

现在的问题我认为不是 token 贵，而是它不能保证一次解决问题，比如 100 块解决一个任务

现在做算力的应该都是赔钱赚吆喝吧

您是不是在找: ollama cloud

@mingtdlb 我参考的是 vast.ai

@strobber16 不不不，你这个还是订阅

你的成本控制的会比那些云服务厂商更强吗？

这个问题我觉得我已经有答案了：
「个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型？既是自用，也是某种防止硬件涨价的投资？」： /t/1234981

「两台 dgx-spark 部署满血 deepseek v4 flash 完全指南,稳定 60~70tok/s 单流」： /t/1232688

即使是 DGX-Spark 这样的显存带宽很低的，按照现在的 API 价格，跑满负载的话，也完全可以在 1 年左右回本儿。

但是，考虑到订阅价格普遍比 API 价格低 20 倍，即使按照 API 是 1 年回本来计算的话，按现在的低订阅成本，也需要 20 年才能回本。也就是说自己部署是永远也不如订阅划算的！

为啥订阅这么便宜呢？不太清楚。收集真实数据？通过入口留住用户？总之，这可能就是厂商的一种补贴吧。你能打得过补贴吗？

除非因为某些原因，无法使用订阅，比如隐私，比如订阅中缺乏替代模型，比如订阅会被限额限速。

@iwasthere #2 h3 可以搞，甚至都不需要多好的算力，搞个 80G 的显存就够了，视频模型的定价和代码模型的定价逻辑完全不一样，除此以外的都没必要了，写代码的那些模型如果你想保证质量且流畅的使用价格都很高，五六个人也没办法应付的，远比一人一个 x20 要贵的多。

租西半球的谷电算力