Instinct MI325X

Instinct MI325X是AMD於2024年10月推出的AI加速器晶片,採用CDNA 3 GPU架構並集成1530億電晶體,配備256GB HBM3e記憶體與6TB/s頻寬。該晶片在FP16/FP8精度下分別提供1.3/2.6 PetaFLOPS算力,運行Meta Llama 3.1大模型時推理性能較英偉達H200提升40%。AMD計畫於2024年四季度量產該晶片,2025年一季度通過戴爾、惠普企業等伺服器製造商擴大供應,後續還將推出採用CDNA 4架構的MI350系列。

基本介紹

  • 架構:CDNA 3    
  • 記憶體類型:HBM3e    
  • 推出時間:2024年四季度   
  • 電晶體數量:1530億  
  • 記憶體頻寬:6TB/s   
  • 對標產品:英偉達H200    
技術架構,性能參數,生產計畫,軟體生態,競品對比,後續產品,

技術架構

Instinct MI325X採用CDNA 3 GPU架構,集成1530億個電晶體,搭載256GB HBM3e高頻寬記憶體並實現6TB/s頻寬。該晶片通過與台積電合作的3nm製程技術提升能效比,支持八卡並行架構實現48TB/s總頻寬,Infinity Fabric互聯速率達896G/s。

性能參數

在計算性能層面,MI325X的FP16精度下理論峰值性能為1.3 PetaFLOPS,FP8精度下提升至2.6 PetaFLOPS。其記憶體容量和頻寬分別為英偉達H200的1.8倍和1.3倍,運行Mixtral 8x7B模型時吞吐量達H200的1.4倍。在Meta Llama 3.1 70B模型測試中,推理速度較H200提升20%-40%。

生產計畫

AMD於2024年10月10日舊金山Advancing AI大會上宣布MI325X將於2024年第四季度投產,並於2025年一季度通過戴爾、惠普企業等合作夥伴實現規模化交付。該晶片採用伺服器整機銷售模式,未公布單獨定價信息。

軟體生態

該晶片深度集成ROCm開源軟體棧,支持PyTorch、Triton、ONNX等主流框架,最佳化了超100萬Hugging Face模型的遷移流程。AMD通過ROCm平台簡化多卡並行配置,支持八卡系統實現20.8 PetaFLOPS(FP8)算力輸出。

競品對比

與英偉達H200 HGX平台相比,MI325X平台記憶體容量提升1.8倍至256GB,頻寬達6TB/s(H200為4.8TB/s)。在FP16/FP8算力層面,MI325X分別為H200的1.3倍,延遲表現降低25%。系統擴展層面,八卡MI325X系統可提供2TB HBM3e記憶體,總頻寬達48TB/s。

後續產品

AMD計畫於2025年推出採用CDNA 4架構的MI350系列,該晶片將升級至3nm製程並配備256GB HBM3e記憶體,推理性能提升35倍。2026年規劃的MI400系列將採用新一代架構,進一步擴大AI計算優勢。

相關詞條

熱門詞條

聯絡我們