Phi-3-vision是微軟旗下小語言AI模型家族（SLM）推出的首款多模態模型，參數量為42億，支持128k上下文長度，訓練時間為2024年2月至4月，可在移動平台運行。該模型基於Phi-3-mini架構開發，整合文本與圖像理解能力，能解析現實世界圖片並提取文字，特別針對圖表和方塊圖（Block diagram）識別能力進行專項最佳化，適用於辦公場景下的信息推論與戰略建議生成。
模型採用教科書級教育材料、代碼、圖文標註數據、圖表圖片等多類型訓練內容，數據來源可追溯且不含個人信息。性能測試顯示，其在ScienceQA、MathVista等基準測試中表現優異，與Claude 3-haiku、Gemini 1.0 Pro等模型性能相當，並對比Llama3-Llava-Next（8B）、LlaVA-1.6（7B）等競品展現優勢。
Phi-3-vision-128k-Instruct模型已部署至Azure機器學習平台，支持通過Python調用推理API處理文本與圖像混合輸入，並開放ONNX Runtime最佳化部署接口實現跨平台運行。微軟同步開源了模型檔案，在魔搭社區和Hugging Face平台提供完整推理代碼及微調教程。
基本介紹
- 外文名：Phi-3-vision
- 發布企業：微軟
模型特點,訓練方面,性能方面,
模型特點
Phi-3-vision 是微軟 Phi-3 家族首款多模態模型，該模型的文字理解能力基於 Phi-3-mini，同時也具備 Phi-3-mini 的輕量特點，能夠在移動平台 / 嵌入終端中運行；該模型參數量為 42 億，大於 Phi-3-mini（3.8B），但小於 Phi-3-small（7B），上下文長度為 128k token，訓練期間為 2024 年 2 月至 4 月。
Phi-3-vision 模型的最大特色正如其名，主要支持“圖文識別能力”，號稱能夠理解現實世界的圖片含義，還能快速識別提取圖片中的文字。
Phi-3-vision 特別適合辦公場合，開發人員特別最佳化了該模型在識別圖表和方塊圖 (Block diagram) 方面的理解能力，據稱可以利用用戶輸入的信息進行推論，同時還能做出一系列結論，為企業提供戰略建議。
訓練方面
在模型訓練方面，微軟聲稱 Phi-3-vision 是由“多種類型圖片及文字數據訓練而成”，包括一系列“經過嚴選的公開內容”，例如“教科書等級”教育材料、代碼、圖文標註數據、現實世界知識、圖表圖片、聊天格式等內容，從而確保模型輸入內容的多樣性。為了確保隱私，微軟聲稱他們所使用的訓練數據“可追溯”不包含任何個人信息。
性能方面
性能方面，微軟提供了 Phi-3-vision 相較於位元組跳動 Llama3-Llava-Next（8B）、微軟研究院和威斯康星大學、哥倫比亞大學合作的 LlaVA-1.6（7B）、阿里巴巴通義千問 QWEN-VL-Chat 模型等競品模型的比較圖表，其中顯示 Phi-3-vision 模型在多個項目上表現優異。
