Phi-3.5是微軟公司於2024年8月22日發布的AI模型系列，包含Phi-3.5-MoE、Phi-3.5-vision和Phi-3.5-mini三款子模型，涵蓋混合專家模型（MoE）和輕量級架構。該系列基於Transformer解碼器架構，採用合成數據與過濾公開數據構建，通過監督微調、近端策略最佳化等技術提升安全性，並以MIT許可開源發布於Hugging Face平台。
Phi-3.5-MoE作為首款混合專家模型，採用16個3.8億參數的專家組件，激活66億參數，在4.9萬億標記數據訓練，多語言基準測試接近GPT-4o-mini水平。Phi-3.5-vision具備42億參數，支持多幀圖像理解，TextVQA基準測試提升至72.0分。Phi-3.5-mini為38億參數輕量模型，支持128K上下文視窗，性能超越Llama3.1 8B和Mistral 7B，適用於手機、平板等設備。全系列模型通過Azure AI Studio部署，最佳化推理成本及多語言性能。
基本介紹
- 外文名：Phi-3.5
- 所屬公司：微軟
發布歷程,模型簡介,
發布歷程
2024年8月，微軟公司發布了Phi-3.5系列AI模型。
模型簡介
Phi-3.5-MoE混合專家模型。它使用了16個3.8億參數的專家和2個專門激活了66億個參數的組件，並且使用了512個H100進行訓練。微軟研究團隊從零開始設計這個模型以進一步提高其性能。在標準人工智慧基準測試中，它的性能超過了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash，甚至接近領先者 GPT-4omini。
Phi-3.5-vision增強型多幀圖像理解模型。它擁有42億參數，在256個A100 GPU上進行了500B標記下的訓練，並且支持多幀圖像理解和推理。與之前發布的MMBench相比，它在文檔理解基準TextVQA上的性能提高了70.9%。
Phi-3.5-mini輕量級、強功能模型。它擁有38億參數，超過了Llama3.1 8B和Mistral 7B，甚至可以媲美 Mistral NeMo 12B。這個模型僅使用了512個H100進行訓練，並且在多語言任務中具有很強的競爭力。
此外，值得一提的是，Phi -3 . 5 -mini支持128K上下文視窗，而其主要競爭對手Gemma -2系列僅支持8K。
