Phi-3.5-MoE

Phi-3.5-MoE，混合專家AI模型。

基本介紹

• 中文名：Phi-3.5-MoE
• 發布單位：微軟公司

發展歷史

2024年8月，微軟公司發布了Phi-3.5-MoE。

性能參數

它使用了16個3.8億參數的專家和2個專門激活了66億個參數的組件，並且使用了512個H100進行訓練。微軟研究團隊從零開始設計這個模型以進一步提高其性能。在標準人工智慧基準測試中，它的性能超過了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash，甚至接近目前領先者 GPT-4omini。