谷歌现在正从退役服务器中取出DDR4内存模块，并将其重新用于新的AI服务器

[!quote]+

谷歌供应链基础设施高级总监 Nikhil Cherian 最近在一次峰会论坛上透露，人工智能行业已迅速从计算受限转向内存受限，高性能内存已占给定人工智能服务器物料清单 (BOM) 成本的约 75%。

据 Cherian 称，为了“突破内存瓶颈，谷歌正在同时开发软件和硬件解决方案”，甚至拆解退役服务器以回收可回收的组件，从而建立内部回收供应链。

事实上，谷歌设计了特殊的硬件适配器，允许将上一代内存解决方案（例如 DDR4）连接到其新一代 AI 服务器。Cherian 还承认，谷歌特意重新进口退役的服务器，只是为了拆除它们的 DDR4 模块。

与此同时，这家科技巨头不断优化底层函数库、模型架构和键值缓存压缩，力求降低单位计算能力的内存使用量。

为了方便那些可能还不了解的人，谷歌今年推出了两款 TPU ASIC：TPU8t 专注于训练给定的 AI 模型，而 TPU8i 则针对推理进行了优化。

因此，谷歌的TPU8i利用高度先进的专用内存层来消除性能瓶颈：

1. 每个 TPU 8i 芯片都配备了 288 GB 的 HBM3e，可提供 8.6 TB/s 的超快内存带宽。


2. 该 ASIC 还集成了 384 MB 的片上 SRAM，用于存储活动键值 (KV) 缓存，无需查询外部系统 RAM。


3. TPU 8i 服务器完全用谷歌定制的基于 Arm 的 Axion 处理器取代了旧的 x86 主机处理器，这些处理器依靠高速 DDR5 内存架构来执行主机级任务，例如数据预处理。

然而，鉴于 Cherian 最近的让步，谷歌似乎已被迫在其新的 AI 服务器中使用较旧的 DDR4 模块来代替 DDR5 模块，至少在某些情况下是这样。