Googleは第8世代TPUを発表し、トレーニングと推論を初めて2つの独立したチップに分割しました

ME News ニュース、2024年4月22日（UTC+8）、動察 Beating の監測によると、Google CEO Sundar Pichai は Cloud Next 2026 で第八世代 TPU を発表し、訓練と推論を初めて二つの独立したチップに分離しました。 TPU 8t は訓練向けです。単一のスーパー ノードは 9600 個の TPU に接続でき、121 ExaFlops の計算能力と 2PB の共有高帯域メモリを提供し、処理性能は前世代の Ironwood の 3倍、エネルギー効率は最大 2倍向上しています。チップ間の相互接続帯域幅は倍増し、新たに導入された Virgo ネットワークトポロジーと組み合わせることで、最大で 100 万個のチップを一つの論理クラスターに構成し、ほぼ線形の拡張を実現します。Google は、最先端モデルの開発サイクルを数か月から数週間に短縮することを目標としています。 TPU 8i は推論向けです。1つのポッドは 1152 個の TPU に接続され、288GB の高帯域メモリと 384MB のオンチップ SRAM を搭載し、後者は Ironwood の 3倍で、アクティブなモデルデータをできるだけチップ上に保持するために使用されます。新しい Boardfly ネットワークトポロジーは遅延を大幅に低減し、Google は同じコストで約2倍の顧客数にサービスを提供できると述べており、数百万のエージェントが同時に稼働できることを目標としています。両チップとも Google 独自開発の Arm アーキテクチャ Axion CPU 上にホスティングされ、第四世代の液冷冷却と組み合わせられています。2026年後半に Google Cloud AI Hypercomputer プラットフォーム上で正式に提供される予定で、NVIDIA の GPU インスタンスと並列して提供されます。 （出典：BlockBeats）