NL2Repo是一項將自然語言需求轉換為完整代碼倉庫的軟體工程任務，於2025年11月8日在一篇發表於《ACM Transactions on Software Engineering and Methodology》的學術論文中被首次提出，同時提出了CodeS框架來解決該任務。
2026年2月，位元組跳動Seed、南京大學、北京大學等機構的研究者聯合發布了專門評估該任務能力的基準測試NL2Repo-Bench。該基準包含104個真實Python倉庫級任務，要求智慧型體從零開始僅根據長篇需求文檔復現完整倉庫，並以原始測試用例評估正確性。測試結果顯示，當前最強的編碼智慧型體整體通過率仍低於40%。2026年4月，阿里雲在對Qwen3.6-Plus模型的評測中，將NL2Repo測試作為衡量編程能力的依據。同月，加州大學伯克利分校的研究者發布的Terminator-1智慧型體被證實通過利用基準測試漏洞，在包括NL2Repo在內的多個編碼基準上取得高分，暴露了現有AI評估體系的設計缺陷。
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
該基準的設計源於“人類不再需要直接寫代碼”的終極願景，旨在填補現有評測在評估編碼智慧型體端到端、長程倉庫生成能力上的空白。
在NL2Repo-Bench提出之前，業界缺乏能夠嚴格評估智慧型體從零開始、僅憑長篇自然語言需求文檔構建完整、可運行軟體倉庫能力的基準測試。
發展歷程
NL2Repo作為一項軟體工程任務，其概念與初步框架在2025年11月被提出。2025年11月，研究人員在《ACM Transactions on Software Engineering and Methodology》上提出了一項名為“自然語言到代碼倉庫”（NL2Repo）的新軟體工程任務，並提出了一個名為CodeS的框架，該框架通過多層草圖分解方法（RepoSketcher、FileSketcher、SketchFiller）來解決此任務。為系統評估編碼智慧型體在NL2Repo任務上的能力，首個專門針對倉庫級長程代碼生成的基準測試——NL2Repo-Bench於2026年2月正式發布。該基準由位元組跳動Seed、南京大學、北京大學等多家機構的研究者聯合打造。NL2Repo-Bench的構建過程嚴謹。研究團隊從GitHub上篩選了104個擁有完備pytest測試用例的Python開源項目作為任務來源。為確保任務質量，團隊建立了嚴密的質量控制流程，包括人工文檔審核、靜態工具檢測、鏡像環境驗證、預實驗驗證四個階段。該基準採用了嚴格的“零代碼執行評估”機制，要求智慧型體面對完全空白的初始工作空間，僅通過平均長度超過1.8萬token的自然語言需求文檔，自主完成需求理解、開發、測試、多檔案協同管理等全鏈路工作，並以項目原有的測試套件作為最終驗證標準。基準首次完整測試了包括Claude4.5在內的多個頂級編碼智慧型體，結果顯示即便表現最佳的Claude4.5，整體通過率仍低於40%，多數模型的整體表現僅在20%左右。研究還發現，將互動輪次增加到200次左右可顯著提高模型表現，但即便在“開卷考試”（提供測試用例）的條件下，模型也難以突破60%的通過率。
核心技術
為了解決NL2Repo任務，研究者提出了CodeS框架。CodeS是一個通過多層分解方法將NL2Repo拆分為多個子任務的框架，具體包括RepoSketcher、FileSketcher和SketchFiller三個模組。
RepoSketcher根據需求生成倉庫目錄結構，FileSketcher為每個檔案生成檔案概要，SketchFiller則填充檔案概要中每個函式的詳細信息。
為了評估CodeS在NL2Repo任務上的表現，研究者設計了以倉庫為導向的基準測試工具SketchEval和評估指標SketchBLEU。
運營模式
EnvX通過三階段流程與A2A協定，將GitHub倉庫的功能調用方式從手動集成轉變為支持自然語言調度。該模式認為，倉庫智慧型體化的關鍵在於使用戶能夠通過自然語言指令直接調用現有倉庫功能，而非生成新代碼。這一思路使EnvX聚焦於“NL2Repo”（自然語言到倉庫）範式，為開發者提供了一種互動方式。
NL2Repo相關能力是評估AI編程智慧型體的指標之一。例如，在阿里雲2026年4月對Qwen3.6-Plus模型的評測中，其在長程編程任務NL2Repo測試中的表現被作為衡量編程能力的依據。
核心團隊
NL2Repo-Bench基準由位元組跳動Seed團隊主導，聯合南京大學、北京大學等高校的研究者共同研發。相關論文《NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents》的作者包括Ding, Jingzhe、Long, Shengda、Pu, Changxin、Zhou, Huan、Gao, Hongwan、Gao, Xiang、He, Chao、Hou, Yue、Hu, Fei、Li, Zhaojian等。
重要事件
該基準從“人類不再需要直接寫代碼”的願景出發，設計了嚴格的“零代碼執行評估”機制。基準要求智慧型體在完全真空的初始工作空間中，僅通過長篇需求說明自主完成全鏈路開發工作。
NL2Repo-Bench包含104個從GitHub精選的真實Python倉庫級任務，涵蓋工具類、框架類、算法類等多個主流Python庫類別。該基準以項目原有的pytest測試用例作為評估復現效果的黃金標準。
首次完整測試結果顯示，即便是當前表現最佳的Claude 4.5模型，整體通過率仍低於40%。即便在提供測試用例的條件下，模型也難以突破60分。
