視覺推理

視覺推理是人工智慧的一個技術領域，它結合視覺感知與推理能力，旨在讓機器通過觀察視覺場景來回答問題，完成如識別物體、理解場景、推斷關係等任務。它是一類視覺-文本多模態內容理解和智慧型評估任務。視覺推理任務可包括空間推理與時間推理等。

CLEVR是視覺推理數據集的代表。2021年，MIT-IBM等提出了專注於整體-部分關係推理的新數據集PTR。2023年，CVPR最佳論文提出了Visual Programming方法，NeurIPS則有團隊提出了MME-COT基準。2024年，中國科學院大學團隊提出了自調用思維鏈(sCoT)方法。2025年，微軟研究院等開發了PixelCraft系統。CMU提出了VisualPuzzles基準，另有研究提出了LEAD方法以緩解推理幻覺。

基本介紹

• 中文名：視覺推理
• 定義：人工智慧的一個技術領域

發展歷程

視覺推理作為多模態AI的核心能力，其發展正從簡單的圖像分類向複雜的場景理解躍遷。

早期視覺推理以CLEVR數據集為代表，但各類模型在其上的準確率已趨近飽和，因其推理局限於感知層面。2021年12月14日，MIT-IBM沃森人工智慧實驗室首席科學家淦創團隊提出了專注於整體-部分關係推理的新一代數據集PTR，該數據集涵蓋了概念型、關係型、類比型、數學推理和物理推理五類認知推理任務。

2023年，AI2團隊提出的VISPROG方法獲得CVPR 2023最佳論文獎，為視覺推理和神經符號研究提供了新方向。同年，港中文MMLab團隊在NeurIPS 2023上提出了MME-COT基準，通過構建包含12萬條多模態推理鏈的測試集，首次實現了對視覺推理能力的全維度評估。

2025至2026年間，研究重點進一步轉向解決模型深層邏輯推理能力不足、幻覺問題以及提升可解釋性，代表性工作包括中國科學院大學團隊提出的自調用思維鏈（sCoT）方法、基於圖結構（Graph）的視覺推理方法研究，以及針對多模態推理模型中高熵節點導致幻覺問題提出的LEAD（Latent Entropy-Aware Decoding）解碼策略。

核心任務與挑戰

視覺推理結合了視覺感知和推理能力，涉及解釋和從視覺數據（如圖像或視頻）中進行推斷。其目標是構建具備視覺感知、語言理解及推理能力的問答系統。

核心任務

視覺推理的核心任務包括識別物體、理解場景以及從視覺線索中推斷出關係或故事。更細分的任務包括空間推理和時間推理，其中空間推理負責判斷物體之間的空間關係、空間接近度以及空間布局，時間推理則包括對活動持續時間的比較、事件發生頻率的判斷、預測、因果關係以及反事實推理。

主要挑戰

當前視覺推理模型面臨深層邏輯推理能力不足的挑戰，在純邏輯思維場景中表現不佳，尤其在算法、類比、演繹等複雜推理類型上。現有方法面臨知識融合程度低、推理解釋能力弱的問題，限制了系統的進一步發展。多模態大語言模型在推理鏈的高熵節點（如生成轉折詞時）容易脫離圖像證據，轉向語言腦補，導致生成錯誤內容。最先進的模型在複雜推理基準上的表現仍顯著落後於人類水平。

主要研究方法

神經符號與程式合成方法的核心思想是利用大語言模型將自然語言指令轉化為可執行的程式，以解決組合式視覺任務，代表工作如VISPROG。圖結構增強方法通過引入圖結構來提升模型的組合推理能力和可解釋性，具體可分為三個方向，包括引入外部知識圖譜以從知識驅動角度增強傳統數據驅動模型、構建模組推理圖以實現可解釋的模組化推理，以及學習語義時空圖以增強對視頻等多物體、多事件場景的表征能力。

自調用思維鏈方法將複雜視覺任務重新定義為純語言推理過程，由主智慧型體調用子智慧型體處理子任務，大幅提升了推理效率和性能，代表工作如sCoT。多智慧型體協作系統採用多角色協作模式，並集成專用視覺工具來處理圖表、幾何圖形等結構化圖像的視覺推理系統，代表工作如PixelCraft。

潛在熵感知解碼策略針對推理鏈中高熵節點易產生幻覺的問題，在潛在空間保留多候選推理方向並用視覺錨點進行約束，代表方法如LEAD。

重要數據集與基準

MIT-IBM沃森人工智慧實驗室於2021年提出了專注於整體-部分關係推理的PTR數據集，該數據集包含大約七萬RGBD合成圖像和七十萬問題，涵蓋了概念型、關係型、類比型、數學推理和物理推理五類任務。港中文MMLab團隊在NeurIPS 2023上提出了MME-COT基準，該基準通過構建包含12萬條多模態推理鏈的測試集，引入了動態場景構建、多步驟推理鏈和跨模態常識融合等評估維度。中國評測機構SuperCLUE於2025年7月發布了SuperCLUE-VLM基準，構建了包含視覺推理層的多模態模型測評體系。卡內基梅隆大學提出了旨在評估多模態推理能力並減少對專業知識依賴的VisualPuzzles基準，該基準包含算法、類比、演繹、歸納和空間推理五大類題型。

其他相關的數據集與基準包括CharXiv、ChartQAPro、Geometry3K、V*、HR-Bench等。

套用與影響

視覺推理技術結合視覺感知與邏輯推理能力，在多個領域展現出套用前景。

具體套用領域

視覺推理技術的具體套用領域包括智慧型圖片搜尋、安防監控系統、醫學影像分析、自動駕駛車輛的環境理解，以及科學研究、金融分析和教育等領域。

對相關研究領域的影響

視覺推理模型指引著社會計算等學術領域的發展，學者們利用機器學習和深度學習等對視覺數據進行自動分析和模式識別，從而揭示圖像的傳播效果。

指引發展方向

當前研究揭示了視覺推理模型的局限，並為未來發展指明了方向，包括強化推理結構而非單純依賴知識，設計兼具複雜邏輯與通用認知的新型網路或推理模組，以及探索模組化、圖結構等方法以提升模型決策過程的可理解性與安全性。

榮譽獎項

2023年，CVPR最佳論文獎授予AI2團隊的“Visual Programming: Compositional visual reasoning without training”（VISPROG）研究，該研究解決了自然語言教學中的組成視覺推理任務，為視覺推理和神經符號研究提供了新的方向。VQA（視覺問答）團隊曾獲得ICCV的埃弗林厄姆獎，以表彰其在自由形式開放式視覺問答任務中的貢獻。