LawBench

LawBench是由南京大學和上海人工智慧實驗室於2023年聯合構建的中文法律領域評估基準數據集。該基準旨在全面評估大型語言模型在法律領域的知識、理解與套用能力。

它從法律知識記憶、理解與套用三個認知層次設計了20個任務，涵蓋單標籤分類、多標籤分類、回歸、信息抽取與生成五種任務類型。在構建後，該基準對包括通用多語言模型、中文最佳化模型及法律專精模型在內的51種大型語言模型進行了評估。

背景與創建

LawBench是由南京大學和上海人工智慧實驗室合作構建的中文法律領域評估基準數據集，旨在對中文法律問答模型進行全面深入的評估。該基準的詳細設計與初步評估結果首次於2023年09月28日以arXiv預印本論文《LawBench: Benchmarking Legal Knowledge of Large Language Models》的形式發布。

LawBench旨在從三個認知層次——法律知識記憶、法律知識理解和法律知識套用——評估大型語言模型（LLMs）的法律能力。基準共包含20個任務，覆蓋了單項選擇、多項選擇、回歸、信息抽取和文本生成等5種任務類型。在首次大規模評估中，LawBench對包括通用多語言模型、中文最佳化模型以及法律專精模型在內的共51種熱門大型語言模型進行了測評。

設計特點

LawBench是一個針對中國法律體系設計的法律領域大型語言模型評估基準。其核心設計理念是模擬司法認知過程，將評估劃分為三個層次：法律知識記憶、法律知識理解和法律知識套用。為實現這一目標，LawBench精心設計了20個多樣化任務，覆蓋了單標籤分類、多標籤分類、回歸、信息抽取和生成五種任務類型。這些任務基於真實的法律案例和數據構建，並採用了國家法律法規資料庫、中國法研杯數據集等多個來源，確保了評估的準確性和實用性。

評估任務

LawBench包含20個多樣化任務，覆蓋單標籤分類、多標籤分類、回歸、提取和生成5種任務類型。這些任務的設計基於真實的法律案例和數據，採用了包括國家法律法規資料庫(FLK)和中國法研杯數據集(LAIC2021)在內的多個數據集。其評估框架旨在從三個認知層次檢驗大模型的法律能力：法律知識記憶、法律知識理解和法律知識套用。LawBench已對51個大型語言模型進行了評估，涵蓋通用多語言模型、中文最佳化模型及法律專精模型。

評估結果

LawBench對51個大型語言模型進行了評估，涵蓋通用多語言模型、中文最佳化模型和法律專精模型三類。評估基於法律知識記憶、理解和套用三個認知層次，包含20個任務，覆蓋分類、回歸、抽取和生成等多種類型。

評估結果顯示，GPT-4在所有模型中表現最佳，且優勢顯著。雖然在法律文本上微調的模型有所改進，但距離在法律任務中獲得可靠、可用的模型仍有很大差距。所有評估數據、模型預測結果和評估代碼均已公開。

套用場景

LawBench的套用場景包括自動化法律檔案審閱、智慧型法條查詢和法律糾紛解決方案推斷等。

挑戰與展望

大語言模型在法律領域的套用也面臨著諸多挑戰。法律條文的複雜性和多樣性要求模型具備高度的理解和推理能力；法律實踐的動態性要求模型能夠持續學習和更新知識；法律倫理和隱私保護等問題也需要在技術套用時予以高度關注。

展望未來，隨著技術的進步和套用的深入，大語言模型將在法律領域發揮越來越重要的作用，推動法律智慧型化的進程。LawBench作為法律領域的大型語言模型基準評測平台，為評估模型的法律智慧提供了有力工具，有助於更全面地了解模型在法律領域的表現，為其最佳化和改進提供指導。