LiveCodeBench v6是LiveCodeBench數據集的第六個版本，一個用於評估大型語言模型代碼能力的評測基準。該基準持續從LeetCode、AtCoder和CodeForces等競賽平台收集新發布的編程問題，旨在提供全面且無污染的評估，其評估場景包括代碼生成、自我修復、代碼執行和測試輸出預測。
該v6版本數據集覆蓋了2023年5月至2025年4月期間發布的1055個編程問題。其設計理念更貼近真實開發場景，題目複雜度較高，並採用動態驗證等機制防止模型通過記憶答題。該基準被廣泛用於衡量代碼大模型在解決未見問題等方面的能力。
研發背景,發展歷程,核心技術,運營模式,重要事件,
研發背景
LiveCodeBench v6是一個旨在提供客觀、全面的LLM代碼能力評測方案的開源基準。其誕生背景是為了解決傳統代碼大模型評測中長期存在的靜態數據集和數據污染問題，旨在通過動態、無污染的評測環境，更真實地評估模型在解決未見編程問題、調試和通過測試等方面的能力。
傳統評測基準（如HumanEval）存在題目固定、易被模型訓練數據覆蓋的局限性，導致評估結果無法反映模型解決真實、未知問題的能力。
為應對上述挑戰，LiveCodeBench v6採用動態更新機制，持續從LeetCode、AtCoder、CodeForces等主流編程競賽平台收集新題目，構建動態更新的評測基準。LiveCodeBench v6通過嚴格篩選發布時間晚於模型訓練數據的題目，最大程度減少數據泄露風險，確保模型面對真正的未知挑戰。其評測目標旨在提供全面且無污染的代碼能力評估。評測範圍不僅限於代碼生成，還關注更廣泛的代碼相關能力，如自我修復、代碼執行和測試輸出預測等。
發展歷程
LiveCodeBench項目最初於2023年9月在GitHub開源，旨在提供對大型語言模型代碼能力的全面且無污染的評估。
其數據集持續更新，擁有多個版本，如release_v1至release_v6。release_v6版本覆蓋2023年5月至2025年4月期間發布的編程問題，包含1055道題目。項目每季度更新數據集，確保評測基準的動態性和時效性。
2025年6月，團隊推出了更高難度的變體“LiveCodeBench Pro”，專注於收錄來自IOI、Codeforces和ICPC的競賽級編程問題，以進一步挑戰模型的算法推理能力。該平台收錄了584個來自Codeforces、ICPC及IOI系列賽事的高質量問題，並採用持續更新的模式。
核心技術
LiveCodeBench採用模組化設計，主要由評測基準模組、模型接口層、評估引擎和結果分析工具構成。
其評估指標體系包括Pass@1、Edit Success Rate和Context Utilization Score。
v6版本在題目設計上更貼近真實工程場景，新增多跳邏輯判斷、邊界條件嵌套、時間複雜度顯式約束等要求，測試樣本來自真實項目的issue或PR討論，許多任務需要同時讀取多個源碼檔案才能正確理解需求，動態驗證機制不僅檢查輸出代碼是否編譯通過，還會運行測試用例、檢查性能變化、甚至評估代碼風格一致性。
LiveCodeBench原版評估器採用嚴格精確匹配策略，例如直接等值比較、精確浮點計算，這種方式會將格式正確但略有差異的正確答案判為錯誤。後續研究提出的MicroCoder-Evaluator改進方案可將評估準確率提升約25%。
運營模式
LiveCodeBench是一個開源項目，其代碼和基準數據集託管於GitHub平台。該項目採用社區驅動模式運作，研究者可通過提交Pull Request將模型評測結果提交至官方排行榜。
用戶可通過命令克隆項目倉庫，並使用進行依賴管理。評測時，通過指定模型名稱、評測場景（如）和數據集版本（通過參數）來運行評估命令。項目支持代碼生成、代碼執行、測試輸出預測和自我修復四大核心能力維度的評測。
項目提供詳細的入門指南、環境配置說明和常見問題解答，並維護ERRATA.md檔案以記錄已知問題和更新。該基準適用於研究人員跟蹤模型疊代效果、開發者進行模型選型參考以及教育者用於教學案例分析。
重要事件
2025年7月，上海AI實驗室的研究“CodeCompass”與LiveCodeBench v6進行了對比評估。2025年9月8日，阿里巴巴推出的Qwen3-MaxPreview (Instruct)模型在包括LiveCodeBench v6在內的五項權威評測中均排名第一。
2026年1月10日，阿聯技術創新研究所(TII)發布的Falcon-H1R (7B參數)模型在LiveCodeBench v6上取得了68.6%的成績。2026年1月24日，Kimi K2-Instruct模型在LiveCodeBench v6基準測試中以53.7%的Pass@1分數領先於GPT-4.1。
