求一個完全解耦的 ai infra 基礎設施。難點在 gpu 資源租賃

ota 2026-10-21 01:17 1

code 在一臺 vps 上
data 在 s3 上
gpu 在 cloud 上


將他們完全解耦,關鍵點在 gpu 的資源租賃和調用方式,是否能支持這種構架?
模擬極端環境,三者全部都在不同機房,不同國家,不同綫路。全部只能走公網,最多組内網。


特別對於視頻生成的應用,租一臺 gpu 的服務器容易,但我對 gpu 的理解是用完即焚,不用長時間保活。主要是開銷能降到最低,特別是做一些 dev 階段時,沒有預算全額租賃。


現在最優解是 gpu 提供商提供數據盤,數據盤可以保活。gpu 不用可以停機。用來跑一些偶發性的 task 是 ok 的,比如漫畫上色,有用戶提交,才開 gpu ,沒提交就 unmount 掉 gpu ,回收資源。因爲是測試階段,只考慮并發需求,而不考慮持久性。比如開多個 gpu ,并行處理 user 的請求。要求是快。但閑置時損耗肯定很大,寫 cron 能解決。


所以我想找個解耦的,主要是 gpu 和數據盤一個供應商,掣肘很大,不利於施展構架的自由,比如多機集群等。一般大廠沒所謂,比如 scaleway 這類。有投資了,肯定會考慮走大廠,畢竟現在燒自己錢,心疼。

最新回复 (3)
  • zhangli2946 10-21 09:40
    1楼
    1. 简体字的阅读负担真少
    2. 现状是 :s3 是确定供应商的,gpu 供应商未定,vps 是否与前两者之一为相同供应商不确定。
    3. 可以明确的是:s3 厂商找块设备接口, 以 posix 接入 vps, 使得 vps 上业务进程无感知读写 s3.
    4. 我对视频生成的理解比较浅薄 ---- 参考素材在 vps 到推理服务的移动可能是瓶颈
    5. 自由是有代价的 ---- locality 能提供的高效是你的"掣肘"
  • zhangli2946 10-21 09:41
    2楼
    6. 租用 局 PU (自己维护)还是 按量使用视频生成服务,有成本方面的考量,需要结合自己情况.
  • zizon 10-21 12:03
    3楼
    刚开源的 DeepIner 的 QA 里有提到,他们的 inference 服务实际上就是多机房的,只不过比较近.
* 帖子来源V2EX
返回