Meta 公开了大集群的运维数据：每 8 千张卡每天近 1000 次中断，一年降了 99%，靠的不是换新卡

Meta 前两天写了篇博客，讲俄亥俄那个 Prometheus 集群（第一期几十万张 GPU ）是怎么跑稳的，数字挺直白，搬过来聊聊。

起点有多糟

2025 年年中，每 8000 张卡，每天将近 1000 次中断事件。训练任务一断就要从检查点重来，卡越多越频繁。

做了什么

英伟达派工程师驻场，和 Meta 一起：

• 调 HBM 的固件


• 定期做内存巡检，提前把有问题的条子挑出来


• 改进 LPDDR 的纠错


• 根据信号预测哪些器件快要坏，坏之前先换

一年下来，训练中断减少了 99%。预训练的 goodput 超过 85%，也就是 100 个小时里大约 85 个小时在干正经活。

备用卡是写进设计里的

也就是说，大厂默认就是「一定会坏」，直接多买一成多的卡当冗余。

几点感受

我们是做服务器和 GPU 维保的，看完的感觉：

• 降下来的那 99%，主要靠固件、巡检、纠错这些「软」的东西，不是换了新一代硬件


• 他们下功夫的地方几乎都在内存（ HBM 、LPDDR ），说明大集群里内存是要重点盯的


• 小集群没法像 Meta 那样多配 13% 的卡，但思路一样：先知道自己的故障率，再决定手边备多少件

想问下有在跑 GPU 集群的朋友：你们那边最常坏的是什么？卡、内存、光模块，还是电源？