DeepImageSearch是一種圖像檢索新範式。該範式由中國人民大學高瓴人工智慧學院竇志成教授團隊聯合OPPO研究院提出，旨在將圖像檢索從“逐張語義匹配”推向“語料庫級上下文推理”。
研究團隊構建了該範式的首個評測基準DISBench，並通過ImageSeeker框架對GPT-5.2、Claude-Opus-4.5等主流多模態大模型進行系統評測。評測結果顯示，表現最好的Claude-Opus-4.5一次嘗試的完美率也只有約29%。對失敗案例的分析發現，推理出錯是最大的錯誤類型。
基本介紹
- 外文名：DeepImageSearch
研發背景,發展歷程,核心技術,技術框架與評測,重要事件,核心團隊,
研發背景
DeepImageSearch由中國人民大學高瓴人工智慧學院竇志成教授團隊聯合OPPO研究院提出。傳統圖像檢索技術在應對個人相冊等大規模、長跨度視覺歷史搜尋場景時，通常將每張圖片當作孤島進行逐張匹配。
該研究提出了圖像檢索的範式轉變，將其從“逐張語義匹配”推向“語料庫級上下文推理”的全新範式。其核心洞察在於，真正的相冊搜尋不是對大量照片做多次獨立的圖文匹配，而是需要在視覺歷史中規劃搜尋路徑、串聯散落線索並構建證據鏈。
發展歷程
2026年2月，DeepImageSearch的相關預印本論文在arXiv平台發布。2026年3月11日，中國人民大學高瓴人工智慧學院竇志成教授團隊聯合OPPO研究院，正式公開提出了DeepImageSearch這一圖像檢索新範式，將其從“逐張語義匹配”推向“語料庫級上下文推理”。團隊同時發布了該範式的首個評測基準DISBench，以及用於系統評測的ImageSeeker框架。相關論文標題為《DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories》。
同期，在關於智慧型體記憶的學術討論中，DeepImageSearch的研究被作為基於圖記憶的有效案例提及。
核心技術
DeepImageSearch由中國人民大學高瓴人工智慧學院竇志成教授團隊聯合OPPO研究院提出，將圖像檢索從“逐張語義匹配”推向“語料庫級上下文推理”的全新範式。其核心洞察是真正的相冊搜尋需要像偵探一樣在視覺歷史中規劃搜尋路徑、串聯散落線索、構建證據鏈。這標誌著圖像檢索從被動的語義匹配進化為主動的、多步的上下文推理探索。
DeepImageSearch使用基於圖的記憶架構來結構化表示用戶的視覺歷史以支持複雜的複合查詢。該架構包含四種節點類型：照片、照片集、視覺線索、人員。節點之間的關係邊使得系統能夠處理需要多維度關聯的查詢。
該架構結合了兩種互補的記憶類型。顯式狀態記憶以結構化形式維護用戶的搜尋狀態並隨對話進展動態更新。壓縮上下文記憶保存過去對話歷史的匯總版本以在有限的上下文視窗內工作。
研究團隊設計了模組化的ImageSeeker框架來系統探索實現新範式所需的能力。該框架配備了專用工具並允許將不同的多模態大模型接入同一套工具和記憶機制中進行公平評測。ImageSeeker框架揭示了當前模型在規劃、狀態管理和長程推理上的關鍵短板。
技術框架與評測
為系統探索視覺歷史深度搜尋所需的能力，研究團隊設計了模組化的評測框架ImageSeeker。該框架的目標是作為先驅者進行系統性探索，明確此類任務所需的能力（如語義檢索、時空過濾、視覺確認和外部知識補充）、工具設計以及長程推理中的狀態管理。其模組化設計允許接入不同的多模態大模型，使用同一套專用工具和記憶機制，從而進行公平的能力比較。
研究團隊構建了首個用於評估上下文感知圖像檢索能力的高質量基準DISBench (DeepImageSearch-Bench)。該基準包含兩類查詢：Intra-Event查詢（占46.7%）和Inter-Event查詢（占53.3%）。基準數據覆蓋57位用戶、近11萬張照片，平均每位用戶的視覺歷史跨度達3.4年，每條查詢平均指向3.84張目標圖片。
通過ImageSeeker框架對主流前沿模型進行系統評測，表現最好的模型Claude-Opus-4.5，其單次嘗試的完美率也僅為約29%。開源最佳模型GLM-4.6V的綜合得分不到最強閉源模型的四成。對失敗案例的系統分析揭示了關鍵發現：當前最強模型的短板主要在於規劃、狀態管理和長程推理能力，而非感知能力。其中，推理出錯是最大的錯誤類型（占所有錯誤的36%到50%），而跨事件推理是核心瓶頸。
重要事件
2026年，中國人民大學高瓴人工智慧學院竇志成教授團隊聯合OPPO研究院，提出了DeepImageSearch這一圖像檢索新範式，將其從“逐張語義匹配”推向“語料庫級上下文推理”。團隊同時構建了該範式的首個評測基準DISBench，並通過ImageSeeker框架對當前主流多模態大模型進行了系統評測。相關論文、代碼、數據集及評測榜單已在GitHub、arXiv、Huggingface等平台公開。此後，該工作被作為基於圖的智慧型體記憶在多模態信息檢索中的成功案例。
