OmniParser V2是微軟推出的基於純視覺的GUI智慧型體解析工具，於2025年02月17日發布，適用於醫療、金融等企業場景及創意產業。
該工具通過螢幕截圖示記化技術精準識別界面互動元素，支持跨平台自動化操作。V2版本在檢測精度（ScreenSpot Pro基準測試達39.6%準確率）和推理速度（延遲降低60%）上顯著最佳化，核心功能包括跨平台螢幕解析、多模態大模型協同、高精度小元素檢測、結構化語義輸出和開源工具鏈集成OmniTool。
基本介紹
- 外文名：OmniParser V2
- 最近更新時間：2025年2月17日
- 技術背景：微軟
- 產品類型：GUI智慧型體解析工具
核心功能,技術原理,發展歷程,性能提升,相關工具,套用場景,風險與安全,
核心功能
跨平台螢幕解析：精準識別任意界面可互動元素
多模態大模型協同：將LLM轉化為可操控計算機智慧型體
高精度小元素檢測：支持8×8像素級UI組件識別
結構化語義輸出：生成含坐標和功能的增強DOM
開源工具鏈集成：提供Docker化開發環境支持。
技術原理
OmniParser V2通過‘tokenizing’（標記化）技術將用戶界面截圖從像素空間轉換為大型語言模型可解釋的結構化元素，以支持基於檢索的下一步操作預測。其多階段解析流程包括可互動區域檢測、功能語義描述與結構化表示輸出。可互動區域檢測模組利用深度學習模型識別截圖中的可互動圖示或區域。功能語義模組為每個檢測到的圖示生成描述其功能的文本。最終輸出包含元素邊界框、功能標籤等信息的類似文檔對象模型的結構化UI表示。
V2版本使用更大規模的互動元素檢測數據和圖示功能描述數據進行訓練。通過減小圖示描述模型的輸入圖像尺寸，其推理延遲較前一版本降低了60%。在ScreenSpot Pro這一高解析度、小圖示基準測試中，OmniParser結合GPT-4o實現了39.6%的平均準確率。
生成的解析結果（結構化元素）被輸入給大型語言模型以支持螢幕理解、動作定位、規劃與執行。其開源工具鏈OmniTool支持與OpenAI、DeepSeek、Qwen及Anthropic等多種先進大型語言模型結合使用。
發展歷程
2024年10月：OmniParser首次發布，並在Hugging Face模型中心成為趨勢模型。
2024年11月：發布OmniParser V1.5，增加了更細粒度的小圖示檢測和元素可互動性預測功能。
2025年1月：宣布OmniParser V2即將發布，在ScreenSpot Pro基準測試中達到39.5%的準確率（SOTA）。
性能提升
OmniParser V2 相較於前代版本在檢測更小的可互動元素時精度更高、推理速度更快，使其成為GUI自動化的有用工具。在檢測精度方面，V2版本使用了更大規模的互動元素檢測數據和圖示功能描述數據進行訓練，使其在檢測較小的可互動UI元素時準確率更高。在推理速度上，通過減小圖示描述模型的圖像尺寸，V2版本的推理延遲相比前一版本降低了60%。在權威基準測試中，OmniParser V2結合GPT-4o，在近期發布的高解析度螢幕與小圖示基準測試ScreenSpot Pro上，取得了39.6%的平均準確率，大幅超越了GPT-4o原始0.8%的表現。
相關工具
OmniTool是OmniParser V2的配套集成開發工具。它是一個基於Docker的Windows系統，提供螢幕理解、定位、動作規劃和執行等功能，這些功能常用於智慧型體開發。該系統由OmniParser V2、OmniBox和Gradio UI等模組組成。
OmniTool可以直接部署和使用，支持將OmniParser V2與多種主流大語言模型（LLM）結合，包括OpenAI(4o/o1/o3-mini)、DeepSeek(R1)、Qwen(2.5VL)和Anthropic(Sonnet)，從而使大語言模型能夠與計算機進行互動。
套用場景
OmniParser V2是一款基於純視覺的GUI智慧型體解析工具，其核心功能是將用戶界面截圖轉換為結構化元素，使大型語言模型（LLM）能夠理解和操作圖形用戶界面。因此，其主要套用場景圍繞GUI自動化和AI智慧型體（Agent）的構建與部署展開。
作為將LLM轉化為計算機操控智慧型體（Computer Use Agent）的關鍵組件，OmniParser V2被廣泛套用於需要自動化圖形用戶界面操作的場景。其通過“標記化”（tokenizing）UI截圖，將像素空間的信息轉化為LLM可理解的結構化元素，從而支持基於檢索的下一步動作預測。這使得開發者能夠利用OpenAI(4o/o1/o3-mini)、DeepSeek(R1)、Qwen(2.5VL)和Anthropic(Sonnet)等多種主流大模型，構建能夠執行螢幕理解、定位、動作規劃和執行的AI智慧型體。
在自動化測試中，OmniParser V2可以快速識別界面元素並執行測試腳本。在智慧型客服場景中，OmniParser V2能夠解析用戶界面並提供精準的操作建議。作為一種純視覺方案，OmniParser V2不依賴於HTML或視圖層次結構，可在桌面套用、移動設備和網頁等不同平台的GUI上工作，實現跨領域的界面自動化。
為方便開發者快速實驗和部署，微軟配套開源了OmniTool。OmniTool是一個Docker化的Windows系統，集成了智慧型體所需的一系列基本工具。OmniTool與OmniParser V2結合，為上述套用場景提供了一個開箱即用的實驗與部署平台，支持開發者快速將不同的大模型配置為可操作計算機的智慧型體。
