Grounded SAM是由IDEA研究院（粵港澳大灣區數字經濟研究院）發布的一個多模型AI視覺套用。該套用結合了Grounding DINO零樣本檢測模型與SAM（Segment Anything）零樣本分割模型，能夠通過文本輸入檢測、分割和生成圖像中的物體。
該模型後續推出了Grounded SAM 2版本，並可在阿里雲人工智慧平台PAI部署為線上服務進行圖像分割任務。其能力也被套用於如偽裝目標檢測等研究領域。
研發背景,運營模式,核心團隊,重要事件,
研發背景
Grounded SAM 是在Meta公司於2023年4月發布其零樣本通用分割模型 SAM (Segment Anything Model) 後，由粵港澳大灣區數字經濟研究院（IDEA研究院）的計算機視覺與機器人研究中心團隊快速跟進開發的增強版本。
其研發初衷是為了整合多種強大的零樣本模型，將圖片的檢測、分割和生成能力合為一體，構建一個集成多種能力的零樣本視覺套用。具體而言，該項目將團隊已有的先進零樣本檢測器 Grounding DINO 與 Meta 的SAM模型相結合，並進一步集成了 BLIP（圖像標註）和Stable Diffusion（文生圖）等模型，旨在實現一個集自動檢測、分割和可控生成為一體的自動化視覺工作流。
該項目由 IDEA 研究院的研究人員領銜，核心成員包括清華大學博士生劉世隆（也是 Grounding DINO 模型的第一作者）、算法工程師任天和等。團隊旨在通過此項目降低高級視覺技術的使用門檻，並探索其在自動化標註、數據生成等領域的套用前景。
運營模式
Grounded-SAM項目在GitHub平台開源。用戶可通過阿里雲人工智慧平台PAI的Model Gallery將模型部署為線上服務，並生成WebUI套用進行體驗。
部署過程大約需要10分鐘，當服務狀態變為“運行中”時即表示成功。
在體驗時，用戶可以選擇automatic模式或scribble模式進行互動。automatic模式無需互動，自動進行圖像分割。scribble模式則允許用戶通過滑鼠點擊圖片進行標記後分割。
核心團隊
Grounded SAM由粵港澳大灣區數字經濟研究院領銜的團隊開發。粵港澳大灣區數字經濟研究院是一所面向人工智慧、數字經濟產業及前沿科技的國際化創新型研究機構，由前微軟全球執行副總裁沈向洋博士擔任創始人及理事長。
項目的核心研究人員包括清華大學博士生、IDEA研究院實習生劉世隆，IDEA研究院算法工程師任天和，以及合作者黎昆昌、曹赫、陳佳禹等。該團隊成員在目標檢測、多模態學習、生成模型等領域有深入研究，其研究成果曾多次發表於CVPR、ICLR、AAAI等頂級學術會議。
重要事件
Grounded SAM被用於自監督儉省學習研究，例如在偽裝人體檢測任務中，用於生成偽標籤輔助模型訓練，通過純自監督取得了與全監督儉省學習相近的性能。
