OmniParser

OmniParser是微軟於2024年10月開源的螢幕解析工具，能將用戶界面截圖轉化為結構化數據。該工具結合視覺語言模型如GPT-4V，識別界面元素並執行任務。

項目基於可互動區域檢測數據集和圖示描述數據集，通過雙模型微調提升多項基準性能。OmniParser V2於2025年發布，推理延遲降低60%，在ScreenSpot Pro基準測試中準確率達39.6%。

基本介紹

• 外文名：OmniParser
• 開源方：微軟

產品功能

OmniParser通過UI解析與GPT-4V等模型結合，可識別界面元素，執行複雜任務，實現高效智慧型操控。

產品優勢

項目包括兩個關鍵數據集及雙模型微調，顯著提升GPT-4V在多項基準性能，是通用螢幕解析工具。