LexEval是一個標準化的綜合性中文法律基準，用於評估大語言模型。該基準的相關論文於2024年9月30日發布，並被NeurIPS 2024收錄。LexEval基於一個將法律能力分為記憶、理解、推理、辨別、生成、倫理六個層次的法律認知能力評估框架。它包含23個任務和14,150個問題，是當前最大的中文法律評估數據集。
基本介紹
- 外文名：LexEval
基準簡介,主要特點,評測框架,發布與影響,
基準簡介
LexEval是一個綜合性中文法律評測基準，旨在評估大語言模型在法律領域的專業能力。該基準於2024年9月正式提出，相關論文發表於NeurIPS 2024。
LexEval提出了一個包含記憶、理解、推理、辨別、生成和倫理六個層次的法律認知能力評估框架。該基準包含23個任務和14,150個問題，是當前規模最大的中文法律評估數據集之一。其數據集和排行榜均公開，並持續更新。
在2026年初的評測中，基於該基準，清華大學發布的LegalOne-R1-8B模型在法律概念理解、法條記憶、多跳推理等關鍵任務上進行了評估。
主要特點
LexEval基準在設計上具有核心特徵與優勢。在能力建模方面，它提出了新的法律認知能力分類法來組織不同評測任務。在規模上，LexEval是當前規模最大的中文法律評測數據集，包含23個任務和14,150個問題。在數據方面，它利用格式化現有數據集、考試數據集及法律專家新標註的數據集來全面評估大語言模型的各種能力。此外，LexEval不僅關注模型套用基礎法律知識的能力，也致力於考察其套用中的倫理問題。
評測框架
LexEval提出了一個法律認知能力評估框架，將司法大模型應當具備的能力分為六個層次。
記憶能力評測是評估模型記憶法律信息的能力，包括法律概念、法律規則、法律演變等。
理解能力評測是評估模型理解法律含義及其影響的能力，包括法律要素識別、法律事實驗證、閱讀理解、關係抽取、命名實體識別。
邏輯推理能力評測是評估模型運用法律事實進行邏輯推理的能力，包括案由預測、法條預測、刑期預測、多跳推理、法律計算、爭辯挖掘等。
辨別能力評測是評估模型分析和判斷法律信息價值的能力，包括類案辨別、文檔修正等。
生成能力評測是評估模型撰寫專業的法律檔案和論證性文本的能力，包括摘要生成、裁判分析過程生成、法律翻譯、開放式問答等。
倫理評測是評估模型判斷法律中倫理問題的能力，包括偏見與歧視、道德、隱私。
LexEval是一個規模較大的中文法律評估數據集，包含23個任務和14,150個問題。
發布與影響
LexEval的相關研究論文《LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models》發表於NeurIPS 2024。該評測基準的數據集和排行榜已公開，並將持續更新。清華大學於2026年發布的LegalOne-R1法律大模型及網際網路司法研究院研發的法律大模型，均在LexEval、LawBench、JecQA等評測集上進行了性能對標。
