Instinct MI300X是AMD於2023年12月在美國加州聖何塞“Advancing AI”活動上發布的高性能加速處理器,主要面向人工智慧(AI)與高性能計算(HPC)領域。該產品採用CDNA 3架構及3.5D封裝技術,集成8個計算單元和192GB HBM3記憶體,記憶體頻寬達5.2TB/s,支持FP8和稀疏性數學格式,在運行大語言模型推理時性能超越英偉達H100 HGX。AMD同步推出ROCm 6軟體平台,顯著提升生成式AI任務效率,並獲得微軟Azure、Meta、甲骨文等企業的首批部署。AMD執行長蘇姿豐表示,MI300X當日開始發貨,並預測其可能成為公司最快突破10億美元銷售額的產品。截至2024年第一季度,該產品已推動AMD數據中心業務營收同比增長38%,創下22.82億美元的季度紀錄。
基本介紹
- 發布日期:2023年12月7日
- 產品類型:GPU加速器
- 計算單元:304個CU
- 記憶體容量:192GB HBM3
- 記憶體頻寬:5.2TB/s
- 製程工藝:5nm XCD GPU + 6nm I/O單元
行業合作
- Meta:計畫將其用於AI研究和高性能計算集群
- 甲骨文:將採用MI300X構建高性能計算實例,支持雙源採購策略
- 微軟(2025年):AMD MI300X獲得Azure 40億美元訂單,用於大規模AI推理任務,市場份額從2024年的10%提升至15%。
市場影響
發布與定位
技術架構
- 核心配置:集成8顆5nm製程XCD GPU和4顆6nm I/O單元,通過3.5D封裝技術實現1530億電晶體的集成度
- 記憶體系統:配備8個HBM3堆疊,總容量達192GB,頻寬為5.2TB/s,是英偉達H100的1.6倍
- 計算能力:支持FP8、BF16和FP16精度,304個計算單元提供10.4 PFlops的峰值算力
性能表現
- 推理性能:運行1760億參數Bloom模型時吞吐量提高1.6倍,700億參數Llama 2模型時延降低1.4倍
- 記憶體優勢:HBM3容量為H100的2.4倍,可支持更大規模模型參數載入
- 能效比:通過ROCm 6軟體最佳化,Llama 2任務性能提升8倍,功耗控制在750W
生態系統
- ROCm 6平台:支持PyTorch、TensorFlow及Hugging Face模型,提升開源框架兼容性
- 開發工具:集成OpenAI Triton語言支持,簡化大規模並行計算編程
- 網路接口:配備192GB HBM3顯存,符合OCP/UBB伺服器標準

