Maia 100是微軟發布的首款人工智慧晶片。2023年11月15日，微軟在西雅圖舉行的年度Ignite技術大會上正式發布了這款自研AI晶片。它採用台積電5納米製程工藝，擁有1050億個電晶體，晶片尺寸為820平方毫米。Maia 100是微軟首個內部定製AI加速器，專為Azure雲中的大規模AI工作負載設計，尤其針對大型語言模型的訓練和推理任務進行最佳化，旨在為Microsoft Copilot、AzureOpenAI服務等提供算力支持。該晶片採用液冷伺服器設計，並首次支持MX（Microscaling）數據格式以提高能效。微軟已在其Bing和Office AI產品上對該晶片進行了測試，其合作夥伴OpenAI也使用GPT-3.5 Turbo模型進行了測試。Maia 100計畫於2024年初在微軟數據中心率先部署，首先用於支持微軟自身的AI套用，後續將逐步開放給合作夥伴和客戶。在2024年的Hot Chip大會上，微軟進一步公布了其詳細規格，包括1.8TB/s的記憶體頻寬（64GB HBM2E）、基於乙太網的高達4.8Tbps的互聯頻寬以及集成的Maia軟體開發工具包（SDK），以支持PyTorch等主流框架。
基本介紹
- 中文名：Maia 100
- 外文名：Maia 100
- 發布公司：微軟
發展歷史,產品設計,技術規格,軟體生態,套用與測試,市場定位與影響,
發展歷史
Maia 100是微軟“雅典娜”(Athena)計畫的一部分，該計畫起步於2019年左右。2023年11月15日，微軟在西雅圖舉行的年度Ignite技術大會上發布首款人工智慧晶片Maia 100。該晶片是微軟首個內部定製的AI加速器系列的首款產品。2025年6月，有訊息稱微軟下一代Maia自研AI晶片已推遲到2026年發布。
產品設計
Maia 100是微軟首款自研的人工智慧加速器晶片，專為Azure雲服務和AI工作負載設計，主要用於雲端大型語言模型的訓練和推理任務。其設計借鑑了微軟在運行複雜和大規模AI工作負載方面的經驗。
Maia 100採用台積電5納米工藝製造，是台積電5納米節點上製造的最大處理器之一，擁有1050億個電晶體。晶片尺寸為820平方毫米，採用COWOS-S夾層技術封裝。
Maia 100的核心架構包含高速Tensor單元和矢量處理器。高速Tensor單元採用16xRx16結構，可為訓練和推理提供高速處理，並支持多種數據類型。矢量處理器是一個鬆散耦合的超標量引擎，採用定製指令集架構，支持包括FP32和BF16在內的多種數據類型。晶片還集成了直接記憶體訪問引擎以支持不同的張量分片方案，並包含硬體信號量以支持系統的異步編程。
Maia 100配備了64GB的HBM2E高頻寬記憶體，頻寬為1.8TB/s。晶片擁有大型的L1和L2快取，總容量約為500MB，交由軟體管理以提高數據利用率和能效。
Maia 100採用了基於乙太網的全定製網路協定，每個加速器具備12個400Gb/s連線埠，聚合頻寬高達4.8 Tb/s，支持高達4800 Gbps的all-gather和scatter-reduced頻寬，以及1200 Gbps的all-to-all頻寬，以實現更好的擴展和端到端工作負載性能。其網路技術類似RoCE定製協定。
Maia 100系統採用垂直集成方式，以最佳化整體成本和性能。它配備定製的伺服器板、專門設計的機架和軟體堆疊。其定製機架級配電和管理系統與Azure基礎設施集成，實現了動態電源最佳化。設計熱設計功耗為700W，配置功耗為500W。
為了匹配晶片的高熱特性，微軟設計了名為“Sidekick”的專用冷卻系統，為Maia 100加速器及其主機CPU增加了機架級閉環液冷方案，以實現更高的散熱效率和伺服器密度。
在軟體層面，微軟為Maia 100開發了軟體開發工具包，使其能夠與PyTorch、ONNX Runtime等流行開源框架集成。SDK提供了庫、編譯器和工具，方便開發者將模型移植並部署到Azure OpenAI服務。Maia 100還是業界首個實現Microscaling數據格式的晶片，這是一種行業標準化數據格式，有助於加快模型訓練和推理時間。
晶片的命名靈感來源於NGC 2336星系中的明亮藍色恆星“Maia”。
技術規格
Maia 100採用台積電5納米（N5）工藝製造，是5nm節點上最大的處理器之一，並採用COWOS-S先進封裝技術。該晶片集成1050億個電晶體，晶片尺寸為820平方毫米。Maia 100搭載64GB HBM2E記憶體，頻寬為1.8TB/s。
其峰值密集張量算力在6位數據格式（MX6）下為3 POPS，在9位格式（MX9）下為1.5 POPS，在BF16格式下為0.8 POPS。晶片的L1和L2快取總計約500MB。後端網路頻寬為600 GB/s（基於12個400GbE連線埠），支持高達4.8 Tbps的聚合頻寬；主機接口為32 GB/s PCIe Gen5 x8。設計TDP為700W，配置TDP為500W。
Maia 100架構包含高速張量單元、矢量處理器、直接記憶體訪問引擎和硬體信號量。高速張量單元支持多種數據類型，採用16xRx16結構；矢量處理器採用定製指令集架構，支持FP32和BF16等數據類型；大型L1/L2快取由軟體管理以提高能效。
Maia 100首次實現Microscaling數據格式，支持6位（MX6）和9位（MX9）格式，用於加速模型訓練和推理。
Maia 100系統採用垂直集成設計，配備定製伺服器板、機架和軟體堆疊。其軟體開發工具包支持PyTorch、Triton和ONNX Runtime等框架。
軟體生態
微軟為Maia 100構建了配套的軟體工具鏈，旨在降低開發門檻並充分發揮硬體性能，體現軟硬體協同設計理念。微軟為Maia 100開發了軟體開發工具包（SDK）。該SDK集成了PyTorch、ONNX Runtime等流行的開源AI框架，便於開發者遷移模型。為最佳化工作負載性能，微軟集成了來自OpenAI的Triton開源程式語言，以簡化核心編寫。Maia SDK為開發者提供了編譯器、庫和工具，幫助他們將訓練好的模型部署到Azure OpenAI服務等平台。
套用與測試
Maia 100旨在為微軟自身的AI套用提供支持，包括Microsoft Copilot、Bing、Office AI產品等，並用於運行大型語言模型，為Azure OpenAI服務提供算力。
Maia 100和Cobalt 100晶片計畫於明年初在微軟的部分數據中心首次亮相，晶片計畫首先用於支持微軟自己的AI應用程式，隨後再向Azure雲服務的合作夥伴和客戶開放。
市場定位與影響
Maia 100是微軟首款自研的人工智慧加速器晶片，旨在最佳化Azure AI基礎設施的性能和成本，減少微軟對英偉達等第三方AI晶片供應商的昂貴依賴。該晶片專為運行基於雲端的大規模AI工作負載（如Microsoft Copilot）而設計，旨在為訓練功能更強大的模型並降低成本鋪平道路。
微軟表示，不打算直接出售Maia 100晶片，而是將其用於賦能自身的訂閱軟體產品（如Copilot），並作為Azure雲計算服務的一部分提供給客戶。Maia 100將首先為微軟自己的人工智慧應用程式（如Bing和Office AI產品）提供支持，之後再向合作夥伴和客戶開放。其設計目標是以更高效率實現更高密度的伺服器，以適應現有數據中心占地面積。
