AndroidWorld

AndroidWorld是一個由Google Research團隊在2024年首次提出的用於自主代理的動態基準測試環境。它是一個功能完備的Android環境,為自主智慧型體提供基準測試平台。環境覆蓋20款主流Android套用,包含116項用自然語言參數化表達的任務,並配備標準化初始化、成功判定與清理邏輯以確保評測可重複。在基線測試中,最佳代理完成了30.6%的任務。至2025年,在該基準上的智慧型體性能有明顯提升,但未能穩定達到人類平均水準(80分)。在覆蓋20個安卓套用、116項任務的基準測試中,位元組跳動得分73.7分,阿里巴巴拿到76.7分,登上該榜單的國內公司還有智譜、階躍星辰和OPPO,自評分數在70分到80分之間。該榜單的最高得分為97.4分,由一家名為AGI的美國矽谷初創公司獲得。中國移動九天人工智慧研究院的模型於2025年7月登頂該評測榜單榜首。智譜發布的GLM-5V-Turbo多模態模型在AndroidWorld等GUI環境操控測試中表現突出。

研發背景,核心技術,運營模式,核心團隊,重要事件,

研發背景

AndroidWorld是由Google研究人員聯合發布的一個功能完備的Android環境,旨在為自主代理提供一個動態、真實的基準測試平台。該環境構建了包含20款主流Android應用程式的完整功能環境,並精心設計了涵蓋日程管理、信息交流、系統設定等日常活動的116項程式化任務。與提供靜態測試集的環境不同,AndroidWorld能夠以參數化和自然語言的方式動態構建任務,從而支持在更龐大、更真實的任務套件上進行測試。為確保評測的可重複性與可比性,每項任務均配備了標準化的初始化、嚴格的成功判定機制及清理邏輯。

核心技術

AndroidWorld為20個真實世界Android套用中的116項程式化任務提供獎勵信號,並動態構建以自然語言表達的參數化任務。每項任務均配備標準化初始化、嚴格的成功判定機制及清理邏輯,確保評測結果的高可重複性與可比性。

運營模式

AndroidWorld是一個由Google研究人員聯合發布的國際榜單和功能完備的Android環境,為自主智慧型體提供基準測試平台。
在覆蓋20個安卓套用、116項任務的基準測試中,位元組得分73.7分,阿里拿到76.7分。登上該榜單的國內公司還有智譜、階躍星辰和OPPO,自評分數在70分到80分之間。最高得分為97.4分,由一家名為AGI的美國矽谷初創公司獲得。

核心團隊

AndroidWorld是由Google研究人員聯合發布的基準測試環境。該環境由Google Research團隊在2024年首次提出。

重要事件

2025年7月,中國移動九天人工智慧研究院研發的端側自主智慧型體模型JT-GUIAgent-V2登頂AndroidWorld自主智慧型體動態基準評測國際榜單榜首。
在AndroidWorld基準測試中,一家名為AGI的美國矽谷初創公司獲得了最高得分97.4分。登上該榜單的國內公司包括位元組跳動(73.7分)、阿里巴巴(76.7分)以及智譜、階躍星辰、OPPO等,其自評分數在70分到80分之間。2026年4月2日,智譜公司發布了GLM-5V-Turbo多模態Coding基座模型,該模型在AndroidWorld等GUI環境操控測試中進行了測試。

相關詞條

熱門詞條

聯絡我們