训练 GPT3-175B 模型最高快 180%，谷歌宣布云端 AI 芯片 TPU v5p

CTOnews.com 12 月 7 日消息，谷歌在推出全新大语言模型 Gemini 1.0 之外，还宣布了增强版 Tensor Processing Unit（TPU）芯片，最新型号为 TPU v5p。

谷歌目前已经在 YouTube、Gmail、Google Maps、Google Play 和 Android 等产品服务中使用 TPU 芯片，最新版本是谷歌迄今为止功能最强大、可扩展性最强和最灵活的 AI 加速器芯片。

CTOnews.com注：在性能方面，谷歌 TPU v5p 在 bfloat16 精度下，可以实现 459 teraFLOPS；在 Int8 精度下，可以实现 918 teraOPS。

谷歌 TPU v5p 配备 95GB 的 HBM3 内存，内存带宽为 2.76TB / sec，每个 Pod 最多有 8960 个加速核心，并自研搭载 600GB/sec 芯片互联主控，可以更快、更准确地训练 AI 模型。

与 TPU v4 相比，新发布的 TPU v5p 具有两倍的 FLOPS（每秒浮点运算）和三倍的高内存带宽提升。

谷歌表示在 BF16 精度下，训练 OpenAI 拥有 1750 亿参数的 GPT3，比此前的 TPU v4 AI 加速器芯片快 90%；如果在 Int8 精度下可以达到 180%。

每个 TPU v5p 加速器的运行费用为每小时 4.20 美元，这比 TPU v4（每小时运行费用为 3.22 美元）和 TPU v5e（每小时运行费用为 1.20 美元）贵一点。