MTIA500是Meta公司（Meta）自主研發的“Meta訓練與推理加速器（MTIA）”系列AI晶片，內部代號為“Astrid”。該晶片計畫於2027年實現大規模部署，預計在MTIA 450推出約六個月後上線。
MTIA 500是一款專注於生成式AI推理任務的加速器晶片。其在處理MX8數據格式時可提供10 petaflops的峰值性能，並支持更高效的MX4數據格式。該晶片採用四個邏輯晶片進行計算，配備了高達516GB的HBM記憶體，其記憶體頻寬達到27.6 TB/s，旨在攻克AI推理中的記憶體瓶頸。MTIA 500與MTIA 450均包含專門設計的電路，用於加速推理工作流程中的特定硬體密集型元素。
產品背景,技術規格,設計架構,產品定位,
產品背景
MTIA500是Meta公司自研的MTIA（Meta Training and Inference Accelerator）系列AI加速器晶片的第四代產品。其開發是Meta減少對英偉達（NVIDIA）等外部供應商依賴戰略的一部分。
該晶片代號為“Astrid”，計畫於2027年下半年推出。MTIA 500大約在MTIA 450推出六個月後實現大規模部署。
技術規格
MTIA 500在處理MX8數據格式時，性能最高可達10 petaflops。它支持更高效的MX4數據格式，可減少AI模型處理數據量，從而加快處理速度。MTIA 500配備高達516GB的HBM記憶體，是前代MTIA 300的兩倍，其記憶體頻寬高達27.6 TB/s，約為前代產品的3倍，旨在突破AI推理的‘記憶體牆’瓶頸。從MTIA 300到MTIA 500，HBM頻寬提升4.5倍，計算FLOPS提升25倍（對比MX8到MX4）。
設計架構
MTIA 500採用四個邏輯晶片進行計算的核心配置。這些核心模組被多個HBM（高頻寬記憶體）記憶體堆疊環繞，總容量為516GB。
該晶片採用2×2的小型計算晶片組配置，周圍環繞著多個HBM堆疊和兩個網路晶片組，並包含一個SoC晶片，負責在主機伺服器之間傳輸信息。同時，晶片內部集成了專門設計的電路，用於加速推理工作流程中特定的硬體密集型元素，如FlashAttention。
在系統層面，MTIA 500採用了模組化、可重用的設計理念。它與MTIA 400、450使用相同的機箱、機架和網路基礎設施，這使得新一代晶片可以直接替換部署到現有的物理空間中，有助於加快從矽片到生產部署的過渡，並有助於減少開發和部署多代晶片所需的資源。
產品定位
MTIA 500是Meta MTIA系列中的一款AI推理加速器，其核心最佳化方向是生成式AI推理任務，同時能覆蓋內容排序推薦等其他工作負載。與同代產品MTIA 450相比，MTIA 500的HBM頻寬提升50%，HBM容量提升80%，MX4 FLOPS提升43%。該晶片包含專門設計的硬體加速電路，用於加速如FlashAttention等推理工作流程中的特定元素。從MTIA 300到MTIA 500，HBM頻寬提升4.5倍，計算FLOPs提升25倍。
MTIA 500旨在以更低的成本支持生成式AI推理，是Meta人工智慧基礎設施的組成部分。
