OmniDocBench V1.5是一個針對多模態文檔解析模型的評測基準測試集，由上海人工智慧實驗室與2077AI等多家機構共同開源，旨在解決現有評測體系在文檔類型多樣性和評估維度完整性方面的不足。其相關研究成果已被計算機視覺頂級會議CVPR 2025接收。該基準數據集覆蓋學術論文、教科書、雜誌等九種文檔類型，能夠從文本、表格、公式、閱讀順序等多個維度評估模型的解析能力。
該評測基準最初於2024年12月04日發布。在後續更新中，於2025年09月25日提升了部分文檔類型的圖像解析度，並新增了374個頁面以平衡中英文頁面數量及增加公式頁面。其V1.5版本被廣泛用作評估文檔解析模型性能的基準。
研發背景,數據與標註特點,評測體系與方法,版本疊代,運營模式,重要事件,
研發背景
OmniDocBench旨在解決現有文檔解析評測體系在文檔類型多樣性和評估維度完整性方面的不足。該基準由上海人工智慧實驗室與2077AI等多家機構於2024年共同發起並開源。
其核心目標是旨在為文檔內容提取提供一套更全面、精細的評估基準，以提升各類智慧型文檔處理工具在文檔內容提取與解析等任務下的能力。該基準的核心研究成果《OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations》已被計算機視覺頂級會議CVPR 2025接收。
數據與標註特點
OmniDocBench V1.5評測集包含1355個PDF頁面，涵蓋學術論文、教科書、雜誌、報紙、筆記、財報、考試試卷、幻燈片、書籍等9種文檔類型，包含中文、英文、日文3種語言類型，並具有4種排版類型。
該評測集具有豐富且密集的多層級標註體系。在布局層面，其驗證集涵蓋了19種布局類別（包括Block級別和Span級別）。在屬性層面，包含了15項屬性標籤（涵蓋頁面、文本、表格等屬性）。此外，還標註了文檔組件間的閱讀順序（Reading Order）以及Block間的從屬關係（如表格與標題的歸屬關係）。針對不同內容類型採用了差異化的標註策略：純文本內容採用直接文本標註，公式內容使用LaTeX格式標註，而表格則同時提供HTML和LaTeX兩種格式的標註。
為確保標註質量，OmniDocBench實施了一套嚴密的三重質控機制。首先利用先進的人工智慧模型進行智慧型預標註，隨後由專業標註團隊對預標註結果進行全面校正和精細化修正，最後在專家質檢環節引入CDM渲染技術識別不可渲染元素，並由領域專家進行最終審核。
數據集持續維護與更新。例如，在2025年9月25日的更新中，提升了報紙和筆記類型圖片的解析度至200DPI，並為了平衡中英文頁面數量、提升包含公式頁面的數量，新增了374個頁面（中文25頁，英文349頁），使得行間公式數量從353個大幅增加至1050個。
評測體系與方法
OmniDocBench V1.5提供端到端評估整體文檔解析和單模組評估布局檢測、文本識別、公式識別、表格識別兩種評測能力。其評測方法基於文檔組件拆分和匹配，並最佳化了匹配合併算法。
針對不同文檔元素，OmniDocBench V1.5採用專用評估指標，公式識別採用CDM（可渲染率），表格理解採用TEDS（編輯距離），文本識別和閱讀順序預測採用編輯距離。
該評測框架支持分頁面、分文檔類型、分屬性的精細化評測結果分析，能精準定位模型在文檔解析中的弱點。
版本疊代
OmniDocBench評測集於2024年12月04日發布。2025年09月25日，發布了V1.5版本更新。此次更新為平衡中英文頁面數量並提升包含公式頁面的數量，新增了374個頁面，其中中文增加了25個頁面，英文增加了349個頁面，覆蓋書籍、PPT、彩色教材、試卷、雜誌和報紙等多種類型。行間公式數量從353個大幅增加至1050個，並為公式增加了語種屬性標註。同時，將報紙和筆記類型的圖片解析度提升至200DPI，並修復了V1.0版本中相關的OCR和表格標註問題。這些更新使得評測集在文檔多樣性、數據平衡性和標註質量上得到顯著提升。
OmniDocBench V1.5自發布以來，已成為衡量文檔解析模型性能的關鍵基準。2025年10月，百度PaddleOCR-VL以92.6分的綜合得分在該榜單上登頂。隨後於2025年11月，MonkeyOCR v1.5以93.01%的整體得分超越前者，成為新的榜首。2026年1月，DeepSeek-OCR 2在該基準上取得了91.09%的成績，相較於其前代模型提升了3.73%。這些持續變化的SOTA結果，驗證了OmniDocBench V1.5評測框架的有效性。
運營模式
OmniDocBench V1.5是一個完全開源的項目，其代碼、數據集及評測腳本均託管於GitHub平台，採用Apache License 2.0開源協定。項目由OpenDataLab、魔搭社區EvalScope等開源社區共同維護與推廣，並提供了TSV格式等衍生版本。同時，項目提供了詳細的文檔說明和使用指南。
重要事件
2025年10月，百度發布的PaddleOCR-VL模型在OmniDocBench V1.5基準測試中以92.6的綜合得分首次登頂榜首，並在文本識別、公式識別、表格理解、閱讀順序四項核心指標上均取得第一。
2025年11月，金山與華中科技大學聯合發布的MonkeyOCR v1.5模型在OmniDocBench V1.5基準上以93.01%的整體得分登頂榜首，超越了前最佳模型PaddleOCR-VL，刷新了該榜單的紀錄。
2026年1月，DeepSeek發布的DeepSeek-OCR 2模型在OmniDocBench V1.5基準測試中取得91.09%的成績，較前代DeepSeek-OCR提升了3.73%，其閱讀順序預測的編輯距離從0.085顯著降低至0.057。
