Phi-4是微軟於2024年12月推出的140億參數規模小型語言模型，屬於Phi系列最新疊代產品。該模型採用Decoder-Only架構設計，支持16K tokens上下文長度，在數學基準測試中準確率達80.4%，超過GPT-4o等大規模模型。
2025年2月，微軟新增Phi-4多模態版與迷你版，前者可同步處理語音、視覺和文本數據，後者專注文本任務的高效推理。模型通過合成教科書級數據集訓練，在MMLU多任務理解基準測試中取得84.8分，接近GPT-4水平。目前已通過Hugging Face平台開源，支持本地設備部署與微調最佳化。
基本介紹
- 研發機構：微軟研究院
- 發布時間：2025年1月8日
- 參數規模：140億
- 套用領域：STEM教育/金融建模
- 開源協定：MIT許可證
- 模型架構：Transformer Decoder
發布歷程,技術架構,性能表現,套用領域,開源生態,局限性,
發布歷程
2024年12月12日，微軟正式發布Phi-4基礎文本模型，同步在Azure AI Foundry開放商用接口接入。2025年1月8日通過Hugging Face平台開放權重下載，成為首個支持本地部署的百億參數級開源模型。2025年2月27日擴展推出多模態版與迷你版，參數規模分別為90億（Phi-4-multimodal）和35億（Phi-4-mini）。
技術架構
採用兩階段訓練策略：第一階段使用9.8萬億token數據集，包含學術書籍（32%）、合成教科書（28%）和多語言問答數據（8%）。第二階段通過監督微調（SFT）與直接偏好最佳化（DPO）增強指令遵循能力，並引入Math-Shepherd工具提升STEM推理準確率。位置編碼參數經過特殊調整，可處理複雜結構化文本信息。
性能表現
在數學競賽AMC測試中獲得91.8分，超過Gemini Pro 1.5（83.2分）。科學推理GPQA基準得分56.1%，優於GPT-4o（50.6%）。代碼生成HumanEval測試準確率82.6%，達到700億參數模型水平。多任務語言理解（MMLU）得分為84.8%，距離GPT-4（86.4%）僅差1.6個百分點。
套用領域
教育場景可輔助微分方程求解與幾何定理證明，金融領域套用於風險評估模型構建，處理10萬量級變數時推理速度較Llama-3.3-70B提升3倍。工業場景支持工程結構最佳化計算，在量子力學模擬任務中表現優異。
開源生態
提供基於ms-swift框架的LoRA微調腳本，支持在消費級顯示卡（如RTX 4090）運行。Ollama工具鏈實現本地部署，FP16精度下顯存占用28GB。社區已衍生出Phi-4-multimodal（多模態版）與Phi-4-mini（迷你版）等分支模型。
局限性
當前版本對英語內容偏好度達92%，多語言支持僅限中/法/德/西四種語言。代碼生成集中於Python語言（占比82.6%），暫不支持Java/C++的專業級開發。微軟建議在高風險場景需配合安全服務組件使用。
