研發背景
在傳統的視覺語言模型中,圖像通常會被切分為若干視覺token,並按照從左上到右下的固定柵格順序送入模型處理,現有的視覺語言模型通常採用固定的光柵掃描順序處理圖像切片,即機械地從左上角掃描至右下角。這種方式引入了不必要的歸納偏差,與人類視覺感知背道而馳,與人類在閱讀文檔、表格或公式時基於語義和邏輯關係進行跳躍式瀏覽的方式並不一致。人類在閱讀複雜文檔、表格或追蹤螺旋線條時,視線是受語義理解驅動的“因果流”,後一次注視往往因果依賴於前一次注視,而非單純的空間坐標移動。因此,研究旨在讓機器更貼近人類的視覺閱讀邏輯,解決傳統模型在處理複雜文檔布局時的局限性。
發展歷程
Visual Causal Flow的概念由深度求索(
DeepSeek)團隊在2026年01月27日發布的論文《DeepSeek-OCR 2: Visual Causal Flow》中正式提出,並隨新一代視覺語言模型DeepSeek-OCR 2一同開源。與此前主打“視覺壓縮”能力的前代模型不同,DeepSeek-OCR 2的核心創新轉向引入“視覺因果流”(Visual Causal Flow)和因果推理能力,標誌著處理複雜文檔布局的技術範式從固定掃描轉向語義推理。
該架構旨在模擬人類基於語義和邏輯關係的視覺閱讀順序。通過創新的DeepEncoder V2編碼器,實現了對圖像信息處理順序的動態、語義驅動重排。
核心技術
Visual Causal Flow的核心是DeepEncoder V2編碼器。該架構用輕量級大語言模型(如
Qwen2-0.5B/Qwen2-500M)替代了傳統的CLIP視覺編碼器(ViT),實現了語言模型作為視覺編碼器(LM as Vision Encoder)的範式轉變。
DeepEncoder V2引入了“因果流查詢”(Causal Flow Query)機制,即一組可學習的查詢Token。其採用“雙軌並行”的非對稱注意力掩碼設計:視覺Token之間保持雙向注意力,以獲取全局信息;而因果流查詢Token之間採用嚴格的因果注意力(Causal Attention),每個查詢只能關注其之前的查詢Token以及所有的視覺Token。
DeepEncoder V2的工作流程為兩級級聯的1D因果推理。首先,編碼器通過因果流查詢在語義目標驅動下,對視覺Token序列進行動態重排,形成符合內容邏輯的新序列,即第一級因果推理,也稱為“閱讀邏輯推理”。隨後,重排後的查詢Token特徵被送入LLM解碼器進行自回歸推理,生成最終識別結果,即第二級因果推理,也稱為“視覺任務推理”。
該框架將2D視覺理解分解為“閱讀邏輯推理”和“視覺任務推理”兩個互補子任務。這為探索原生多模態統一編碼器提供了新思路。
功能服務
Visual Causal Flow架構旨在通過模擬人類視覺的“因果流”邏輯,賦予AI模型根據圖像內容語義動態、智慧型地重排圖像各部分處理順序的能力。這改變了傳統視覺模型按固定柵格順序掃描圖像的方式,使模型處理複雜文檔、表格或公式時更貼合人類的閱讀習慣和邏輯思維。
該架構顯著提升了模型對文檔結構的理解能力。在衡量閱讀順序的編輯距離指標上,採用此架構的DeepSeek-OCR 2從前代模型的0.085顯著降低到了0.057。在真實套用場景中,模型因結構理解不充分導致的重複輸出問題得到有效緩解,例如在線上用戶日誌圖像中,重複率從6.25%降至4.17%;在PDF批量處理場景中,重複率從3.69%降至2.88%。
在性能方面,搭載Visual Causal Flow的模型在OmniDocBench v1.5基準測試中綜合得分達到91.09%,較前代模型提升了3.73%。在處理效率上,該架構僅需256到1120個視覺Token即可覆蓋複雜的文檔頁面,顯著降低了下游大語言模型的計算開銷。在與同類模型的對比中,
DeepSeek-OCR 2在文檔解析編輯距離等指標上表現優於Gemini-3 Pro等閉源模型。
重要事件
2026年1月27日,DeepSeek團隊發布論文《DeepSeek-OCR 2: Visual Causal Flow》並在
HuggingFace、GitHub等平台開源了搭載Visual Causal Flow架構的DeepSeek-OCR 2模型。