TPU v5

TPU v5是谷歌開發的張量處理單元（TPU），是專為機器學習設計的AI加速晶片。2023年，谷歌發布了v5e版本，v5p版本也被部署。

v5e於2023年推出，針對中大型模型的訓練與推理，相比前代TPU v4，其訓練性能提高2倍，推理性能提升2.5倍，成本降低50%。v5p發布，是性能更強的版本，專為訓練大規模模型設計，其FLOPS比v4提高2倍以上，高頻寬記憶體（HBM）提高3倍，訓練大型語言模型的速度比v4快2.8倍。v5p每個模組集成8960顆晶片，配備95GB HBM，曾用於訓練谷歌Gemini大模型。

產品簡介

TPU v5是谷歌開發的第五代張量處理單元（Tensor Processing Unit），是專為機器學習/深度學習設計的專用ASIC晶片，針對張量運算高度最佳化。TPU v5包含兩個主要版本：TPU v5e（Efficiency，效率版）和TPU v5p（Performance，性能版）。TPU v5e於2023年8月發布，注重成本效益和可訪問性，針對中型到大型訓練和推理工作負載；與TPU v4相比，其大型語言模型訓練性能提高2倍、推理性能提高2.5倍且成本降低50%。TPU v5p於2023年12月發布，是高性能版本，專為構建大型、複雜的基礎模型而設計；其每個Pod包含8960顆晶片，總FLOPs是TPU v4的四倍，吞吐量達4800Gbps，配備95GB高頻寬記憶體（HBM）；訓練大型語言模型的速度比TPU v4快2.8倍。TPU v5的發布標誌著谷歌TPU產品線從單一架構走向成熟、多元化。

設計架構

TPU v5是谷歌基於ASIC（專用積體電路）設計的第五代張量處理單元，為特定算法定製，具有高計算效率、低功耗等特點。其核心計算單元採用脈動陣列配置，以高效執行深度學習中的矩陣乘法運算。為了減少數據訪問延遲，TPU v5具備高頻寬記憶體與片上暫存器，其中TPU v5p版本的高頻寬記憶體高達95GB。晶片支持bfloat16、INT8等低精度數字格式，以在最小程度影響準確性的同時提高計算吞吐量。

此外，部分版本（如TPU v5p）的晶片布局採用了由AI工具AlphaChip輔助設計，該工具通過強化學習最佳化布局，與人類專家相比，能設計出模組數量更多、布線長度更短的方案，從而提升了設計效率並縮短了設計周期。

發展歷程

谷歌曾非正式宣布TPU v5，並在研究論文中表示使用了AI設計該版晶片，且設計效率比人類專家更高。不過，這一論述引發了業界對於內容真實性的懷疑和調查，最終該版本的TPU v5並未正式推出。

2023年8月，谷歌在Cloud Next 2023大會上正式發布了Cloud TPU v5e。該晶片專為提升中型到大型模型的訓練和推理性能及成本效益而設計，與前代TPU v4相比，其大型語言模型的訓練性能提高了2倍，推理性能提高了2.5倍，同時成本降低了50%。

2023年12月，谷歌發布了其定製AI加速器Cloud TPU v5p，並與多模態大模型Gemini一同推出。TPU v5p被部署為谷歌的“AI超級計算機”，用於訓練Gemini 1.0等大型模型。每個TPU v5p Pod包含8960顆晶片，較TPU v4的4096顆大幅提升，總浮點運算能力是上一代的四倍，高頻寬記憶體高達95GB，互連頻寬也得到顯著增強。

TPU v5p的發布標誌著谷歌TPU產品線的一個重要轉折點。其定位從純粹的AI訓練晶片，正式轉向訓練與推理能力並重的泛AI負載加速器。這一轉變意味著谷歌將TPU推向更廣泛的推理市場，是TPU產品線從單一場景走向通用化的關鍵節點。

根據行業分析，谷歌計畫在2027年推出其第8代TPU，以對標英偉達的Vera Rubin架構，屆時其超節點性能指標預計將得到進一步最佳化和提升。

技術規格

TPU v5p每個Pod包含8960顆晶片，晶片間互連頻寬為1200GB/s，並配備95GB高頻寬記憶體(HBM)。與TPU v4相比，TPU v5p的總浮點運算次數(FLOPs)是其4倍，訓練大型語言模型的速度快2.8倍，FLOPS提高2倍以上，HBM提高3倍。

TPU v5e支持多達256個晶片通過聚合頻寬超過400 Tb/s的互連進行配置，INT8算力達到100 PetaOps，並提供多種虛擬機配置，範圍從1個晶片到單個切片內256個晶片。與TPU v4相比，TPU v5e的訓練性能提升2倍，推理性能提升2.5倍，成本降低50%，每美元提供的LLM微調性能比TPU v4高1.9倍。

核心優勢

TPU v5系列在硬體性能上有所提升。TPU v5p每個Pod包含8960顆晶片，多於上一代TPU v4的4096顆，每個Pod的總浮點運算次數（FLOPs）可達TPU v4的4倍，晶片間互連頻寬為1200GB/s，吞吐能力為4800Gbps。其高頻寬記憶體（HBM）為95GB，高於TPU v4的32GB。在訓練大規模語言模型時，TPU v5p的性能可達A100 GPU的4倍，與英偉達H100顯示卡性能相近。TPU v5p的FLOPS較TPU v4提高了2倍以上，高頻寬記憶體（HBM）提高了3倍，訓練大型LLM模型的速度比上一代TPU v4快2.8倍。

在互聯技術上，谷歌TPU超節點通過光電路交換機（OCS）構建Scale-up網路，以實現晶片互連。相較於電分組交換機，OCS的每比特能耗較低，引入的時延較小。谷歌為此研發了光電路交換機、波分復用光收發模組和光環形器等硬體組件。

在能效與成本方面，作為專為張量運算最佳化的ASIC晶片，TPU v5單位功耗吞吐量較高，片上記憶體層級設計較為激進，通常能為訓練和推理實現較低的總體成本。例如，Cloud TPU v5e與TPU v4相比，成本降低50%，訓練性能提升2倍，推理性能提升2.5倍。

TPU v5系列包含不同定位的產品。該系列包含針對高性能訓練的TPU v5p (Performance) 和針對高性價比推理及中型訓練的TPU v5e (Efficiency)。v5p用於訓練大型基礎模型（如Gemini），v5e則平衡性能與效率，適用於推理、微調和中大型訓練負載。

該系列晶片擁有相應的軟體與雲服務生態。TPU v5與谷歌雲服務集成，通過Google Cloud提供。其軟體棧與TensorFlow、JAX、PyTorch等AI框架兼容，並集成了谷歌Kubernetes Engine (GKE)、Vertex AI等平台。

TPU v5針對大規模模型訓練和推理任務提供高吞吐量，支持多種套用場景。它不僅用於訓練谷歌自身的Gemini等大模型，也被蘋果等外部公司用於訓練其AI模型。TPU v5能夠處理重複的張量運算，適合大型線上推理服務，並可通過Multislice技術將工作負載擴展到數萬個晶片，支持超大規模計算。

產品型號與定位

TPU v5包括兩個主要型號：TPU v5p（性能版）和TPU v5e（效率版）。Cloud TPU v5p是用於構建大型、複雜基礎模型的TPU，而Cloud TPU v5e是用於中大規模訓練和推理工作負載的TPU。

TPU v5p專注於高性能，是谷歌的定製設計人工智慧加速器，用於超大規模模型訓練（如Gemini）和大型線上推理。TPU v5p是訓練谷歌Gemini模型所使用的系統。TPU v5p每個Pod有8960顆晶片，其集群規模為8960顆晶片。TPU v5p主要通過谷歌雲在北美（美國東部區域）提供。

TPU v5e專注於成本效益，專為提升大中型模型的訓練、推理性能以及成本效益所設計，用於中大型模型的訓練、微調和推理。與TPU v4相比，TPU v5e在成本、訓練性能和推理性能方面有所提升。Cloud TPU v5e提供較高的LLM微調性能每美元。其可用區域包括北美、歐洲和亞洲，在定價方面考慮成本因素。

套用與市場

TPU v5p是訓練谷歌多模態大模型Gemini的核心繫統。蘋果公司使用2048片TPU v5p晶片訓練其人工智慧系統“蘋果智慧型”的AI模型Apple Foundation Model。谷歌通過Google Cloud向企業客戶提供TPU v5e和v5p，AI公司Anthropic在其Cloud TPU v5e晶片上運行其大型語言模型Claude。

在訓練大規模語言模型方面，TPU v5p的性能據稱可達英偉達A100 GPU的四倍，與H100相當。

谷歌通過Google Cloud向外部企業開放TPU技術，推動了AI算力的民主化。此外，谷歌通過TPU Research Cloud計畫支持研究項目。