OmniParser V2.0是微軟開源的框架，可將DeepSeek-R1等大模型轉化為AI Agent，測試準確率從0.8%提升至39.6%。
基本介紹
- 外文名：OmniParser V2.0
- 發布方：微軟
產品功能,產品模組,
產品功能
OmniParser通過將界面從像素空間解析為結構化元素，幫助大模型理解和操作UI互動界面。
產品模組
框架包含可互動區域檢測、功能語義理解、結構化表示生成三大核心模組，支持開箱即用。
OmniParser V2.0是微軟開源的框架，可將DeepSeek-R1等大模型轉化為AI Agent，測試準確率從0.8%提升至39.6%。
【新智元導讀】OmniParser V2可將螢幕截圖轉換為結構化元素,幫助LLM理解和操作GUI;在檢測小圖示和推理速度上顯著提升,延遲降低60%,與多種LLM結合後表現優異。 圖形用戶界面(GUI)自動化需要智慧型體具備理解和互動用戶螢幕的能力。 然而,使用通用大型語言模型(LLM)作為GUI智慧型體仍然存在難點:1)如何可靠地識別用戶界面中的...
OmniParser V2是微軟推出的基於純視覺的GUI智慧型體解析工具，於2025年02月17日發布，適用於醫療、金融等企業場景及創意產業。該工具通過螢幕截圖示記化技術精準識別界面互動元素，支持跨平台自動化操作。V2版本在檢測精度（ScreenSpot Pro基準測試達39.6%準確率）和推理速度（延遲降低60%）上顯著最佳化，核心功能包括跨平台...