Trillium TPU是谷歌研發的第六代張量處理單元，隸屬於Google Cloud人工智慧超級計算機架構體系，於2024年5月15日在谷歌I/O開發者大會上發布。該晶片配備第三代SparseCore專用加速器，支持高頻寬記憶體（HBM）容量和晶片間互連頻寬雙倍提升，套用於自動駕駛、藥物發現及大型語言模型訓練領域。
相比前代TPU v5e，Trillium TPU訓練性能提升4倍，推理吞吐量提升3倍，峰值計算性能提升4.7倍，能源效率提高67%。單個Pod可集成256個晶片，通過多切片技術擴展至數萬個晶片組成超級計算機集群。其支持訓練Gemini系列模型，並為Nuro、Deep Genomics及德勤等企業提供算力服務。
基本介紹
- 外文名：Trillium TPU
- 所屬品牌：谷歌
發展歷程,主要功能,產品套用,
發展歷程
2024年5月15日凌晨，谷歌I/O開發者大會主題演講上，谷歌CEO桑達爾·皮查伊（Sundar Pichai）發布數十款Google和 AI 結合產品，堪稱“全家桶”級別，全力對戰OpenAI。在演講期間，皮查伊低調宣布了谷歌的第六代張量處理單元 (TPU) ，稱為Trillium。
主要功能
Trillium TPU 可以更快地訓練下一波基礎模型，並以更少的延遲和更低的成本為這些模型提供服務。至關重要的是，Trillium TPU 的能效比 TPU v5e 高出 67% 以上。
值得一提的是，Trillium 可以在單個高頻寬、低延遲 Pod 中擴展到多達 256 個 TPU。除了這種 Pod 級可擴展性之外，藉助多切片技術和Titanium 智慧型處理單元 (IPU )，Trillium TPU 還可以擴展到數百個 Pod，從而連線建築物級超級計算機中的數萬個晶片，這些晶片通過每秒數 PB 的速度互連數據中心網路。
Gemini 完全在谷歌的第四代和第五代 TPU 上接受訓練和服務。包括 Anthropic 在內的其他領先 AI 公司也在 TPU 上訓練了他們的模型。而對 Trillium TPU 上長上下文、多模式模型的訓練和服務的支持也將使Google DeepMind能夠比以往更快、更高效、延遲更低地訓練和服務未來幾代 Gemini 模型。
產品套用
谷歌表示，Trillium TPU 將為下一波 AI 模型和代理提供動力，包括自動駕駛汽車公司Nuro、藥物發現公司Deep Genomics、德勤等企業也採用其TPU產品進行套用。
