LiveCodeBench是一個用於全面且無污染地評估大語言模型代碼能力的框架。它持續收集來自LeetCode、AtCoder和CodeForces等平台的新編程問題，評估範圍涵蓋代碼生成、自我修復、代碼執行和測試輸出預測等多個方面。
該基準測試持續更新其數據集，發布了從包含400個問題的release_v1到包含1055個問題的release_v6等多個版本。其衍生版本LiveCodeBench Pro專注於收集來自Codeforces、ICPC和IOI等頂級算法競賽的新題目，旨在構建高難度且純淨的評估集，該版本由一支包括多名華人成員的年輕研究團隊主導開發。
基本介紹
- 外文名：LiveCodeBench
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
LiveCodeBench是一個旨在為大型語言模型（LLM）的代碼能力提供全面且無污染評估的開源框架。其研發背景源於對現有編程評測基準諸多缺陷的回應，如測試環境不一致、測試用例薄弱容易出現假陽性、難度分布不平衡，以及無法隔離搜尋污染的影響。為此，它致力於通過實時、純淨的評估來構建一個更能反映模型真實能力的評測環境。
發展歷程
LiveCodeBench最初於2023年9月隨同名論文《LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code》發布。其初始數據集（release_v1）包含400個問題，覆蓋2023年5月至2024年3月期間的編程競賽題目。
作為一個持續更新的基準，LiveCodeBench定期擴展其數據集。截至2025年4月，已發布至release_v6版本，問題總數增長至1055個。主要版本包括release_v1（400題，至2024年3月）、release_v2（511題，至2024年5月）、release_v3（612題，至2024年7月）、release_v4（713題，至2024年9月）、release_v5（880題，至2025年1月）和release_v6（1055題，至2025年4月）。
2025年6月，研究團隊推出了更高難度的衍生基準測試LiveCodeBench Pro。該基準專注於從IOI、Codeforces和ICPC等頂級算法競賽中實時收集題目。LiveCodeBench Pro旨在通過每日更新的題庫和季度發布全新評估集來防止數據污染，評估大模型在複雜算法問題上的真實能力。
核心技術
LiveCodeBench通過持續從LeetCode、AtCoder和Codeforces等競賽平台收集新發布的編程問題來構建和更新其評估數據集。該框架設計了獨特的防污染評估機制，利用問題的發布日期作為篩選條件，支持在不同時間視窗內評估模型，旨在檢測和防止因模型訓練數據中包含評估題目而導致的性能虛高。LiveCodeBench採用了超越單一代碼生成的多維度評估體系，其評估場景涵蓋代碼生成、代碼執行、測試輸出預測以及自我修復（Self-Repair）等，以全面衡量大型語言模型的代碼相關能力。
其擴展版本LiveCodeBench Pro在題目設計上採用了更精細的分類與分級技術。它根據解決任務所需的關鍵認知焦點，將題目分為知識密集型、邏輯密集型和觀察密集型三大類；並借鑑Codeforces平台的Elo評分體系，將題目按難度自動劃分為簡單（≤2000分）、中等（2000-3000分）和困難（>3000分）等級別。
運營模式
LiveCodeBench的代碼在GitHub上開源，採用Apache License 2.0協定。
LiveCodeBench提供多個不同時間範圍的數據集版本，包括release_v1、release_v2、release_v3、release_v4、release_v5和release_v6。LiveCodeBench通過ERRATA.md檔案維護已知問題列表。
核心團隊
LiveCodeBench Pro的核心團隊主要由多位年輕的華人研究者構成，其中許多成員具有國際信息學奧林匹克競賽背景。團隊由項目負責人鄭子涵和柴文浩主導。鄭子涵為紐約大學本科生，曾代表紐約大學參加ICPC世界總決賽並獲得第二名。柴文浩本科畢業於浙江大學，碩士畢業於華盛頓大學，為普林斯頓大學準博士生。紐約大學助理教授謝賽寧也參與了項目的研究與指導工作。
重要事件
2025年6月，LiveCodeBench Pro基準測試發布。該基準測試專注於IOI、Codeforces和ICPC等頂級競賽的實時編程問題，題庫每日更新以防止數據污染。在最具挑戰性的“困難”級別上，包括OpenAI的o3-high、Google的Gemini 2.5 Pro、DeepSeek的R1模型在內的所有參與測試的前沿大語言模型正確率均為0%。
2025年，英偉達開源的模型在LiveCodeBench基準測試中表現優於OpenAI的o3-Mini和o1 (low)模型。同年，由Yann LeCun團隊開發的模型在LiveCodeBench v5版本上獲得了68.6%的得分。
2026年，阿里雲千問QwQ-32B模型在評估代碼能力的LiveCodeBench中，表現與DeepSeek-R1相當。
