Meta-Harness是斯坦福團隊於2026年3月30日提出的一種端到端最佳化模型Harness的自動搜尋框架。該框架由斯坦福IRIS Lab的博士生Yoonho Lee等人提出，其核心是讓編碼智慧型體（Proposer）自主疊代最佳化完整的Harness程式，並通過檔案系統向其暴露完整的歷史執行軌跡以進行分析和修改。
Meta-Harness在文本分類、數學推理和智慧型體編程等任務上進行了驗證。在文本分類任務中，其僅通過4次評估即可達到競品方法60次評估的最終效果；在數學推理任務中，其搜尋到的策略在多個未見模型上平均提升了4.7個百分點；在TerminalBench-2智慧型體編程基準測試中，其最佳化的方案排名Claude Haiku 4.5模型智慧型體首位。
基本介紹
- 外文名：Meta-Harness
- 提出方：斯坦福團隊
基本含義,發展歷程,基本特徵,套用,影響,相關研究,
基本含義
Meta-Harness是由史丹福大學、麻省理工學院（MIT）等機構的研究者於2026年提出的一種自動化Harness搜尋框架。該框架將完整harness程式作為最佳化對象，其目標是在固定底層模型的前提下，找到使任務表現最好的harness程式。
Meta-Harness的核心機制在於其外循環設計：系統提出候選harness，在搜尋集上進行評測，然後將代碼、分數以及完整的執行軌跡寫回檔案系統，以供下一輪分析。真正的診斷與最佳化工作由一個名為“Proposer”的編碼智慧型體自主完成，它可以通過終端命令主動檢索和分析檔案系統中存儲的所有歷史候選代碼及其原始執行軌跡。
這一設計的創新之處在於，它通過暴露完整的、未經壓縮的歷史經驗，解決了傳統最佳化方法中反饋信號丟失關鍵診斷細節的問題。實驗表明，Meta-Harness在文本分類、數學推理和智慧型體編程等任務上均能顯著提升性能，並展現出良好的分布外泛化能力。它的出現標誌著AI工程的重點從“調模型”向“調系統”的轉變。
發展歷程
Meta-Harness由斯坦福IRIS Lab的博士生Yoonho Lee聯合麻省理工學院、威斯康星大學麥迪遜分校的研究者提出，其研究論文《Meta-Harness: End-to-End Optimization of Model Harnesses》於2026年3月30日發表在預印本平台arXiv上。
基本特徵
Meta-Harness是一種自動化Harness搜尋框架，旨在最佳化包裹固定語言模型的完整Harness程式，而非單條提示詞（Prompt）。其核心轉變在於將最佳化對象從單條Prompt升級為完整的Harness有狀態程式，目標是在固定底層模型的前提下，找到使任務表現最優的Harness策略。
該框架採用簡潔的外循環邏輯：提出候選Harness → 在搜尋集上評測 → 將代碼、分數和執行軌跡寫回檔案系統 → 繼續下一輪。外循環主要負責搭建檢索與分析的舞台，而真正的診斷與改寫工作交由名為“Proposer”（提案智慧型體）的Coding Agent自主完成。
與預先設定規則的傳統方法不同，Meta-Harness將“該看哪些歷史候選、分析哪些失敗模式、做局部修改還是整體重寫”的決策權交給了Proposer。Proposer通過終端工具（如grep、cat）讀寫檔案，主動查看檔案系統中存儲的舊Harness原始代碼、完整執行軌跡、命令日誌、錯誤日誌及評分結果，而非依賴單一分數或LLM生成的摘要。在高難度設定下，Proposer每輪中位數讀取82個檔案，其中約41%為舊Harness代碼，40%為執行軌跡。
該框架的核心創新在於將完整的歷史經驗通過檔案系統暴露給Proposer。這解決了傳統Harness搜尋中反饋信息被過度壓縮（如單一分數、摘要）導致丟失關鍵診斷信號的問題。這種基於跨多輪歷史的診斷機制，使Proposer能夠進行因果式歸因，而非僅對最近結果做局部修補。
消融實驗驗證了保留原始執行軌跡是該方法的關鍵特徵。實驗顯示，如果Proposer只能查看分數和代碼，最佳準確率僅為41.3%；若僅增加LLM生成的摘要，結果反而降至38.7%；而接入原始執行軌跡後，最佳結果大幅提升至56.7%。這表明，訪問完整的、未經壓縮的執行軌跡是啟用有效Harness搜尋的決定性要素。
套用
Meta-Harness在文本分類、數學推理及智慧型體編程等任務領域中得到套用驗證。
在文本分類任務中，Meta-Harness在LawBench、Symptom2Disease、USPTO-50k數據集上通過進化疊代發現的最佳harness在測試集上達到48.6%準確率，比SOTA方法ACE高出7.7個百分點。其僅用4次評估即追平對手60次的最終準確率。
在數學推理任務中，Meta-Harness搜尋到的檢索增強策略在5個未見過的模型上平均提升了4.7個百分點（從34.1%到38.8%），表明其策略具有可遷移性。
在智慧型體編程任務中，Meta-Harness在TerminalBench-2基準上最佳化後的Claude Haiku 4.5代理成功率達到37.6%，在所有Haiku 4.5代理中排名第一。
Meta-Harness在最佳化過程中自主發現了如4-route辭彙路由器、環境引導等有效的最佳化策略。
影響
Meta-Harness的出現標誌著AI工程從“調模型”向“調系統”的轉變，並將Harness從依賴人工經驗的對象轉變為可以被自動搜尋、疊代和超越的程式。
實驗表明，通過自動化搜尋得到的Harness能顯著提升任務表現，例如在文本分類任務上，其發現的最佳Harness比之前的最佳方法ACE準確率高出7.7個百分點。在未見過的數據集上，Meta-Harness平均準確率達到73.1%，展現了可遷移的策略。
當底層大模型能力逐漸趨同時，最佳化模型外層的Harness成為決定AI系統性能上限的關鍵因素。Meta-Harness通過讓編碼智慧型體Proposer訪問完整的執行軌跡和歷史代碼，實現了對Harness程式的端到端最佳化。
相關研究
Meta-Harness是一種端到端最佳化模型harness的自動搜尋系統，其核心創新在於將完整的執行軌跡和歷史代碼通過檔案系統暴露給Proposer智慧型體，使其能進行因果歸因和系統性最佳化。
在文本分類任務上，Meta-Harness超越了此前最佳手工設計的harness（ACE）和現有的文本最佳化器（TTT-Discover、OpenEvolve），僅用4次評估就達到了次優方法的最終準確率。在分布外泛化測試中，Meta-Harness在9個從未見過的數據集上平均準確率達到73.1%，而ACE（此前最佳方法）只有70.2%。在數學推理任務上，其發現的策略在5個從未見過的模型上平均提升了4.7個百分點（從34.1%到38.8%）。
消融實驗顯示，能訪問完整執行軌跡的Proposer整體表現大幅提升。Full Traces（分數 + 完整代碼 + 執行軌跡）條件下的中位分數超過了Scores-only（只有歷史候選的分數）的最佳分數11.3%，也超過了Scores+Summary（分數 + 候選的文本摘要）的最佳分數8.7%，這證明了保留原始執行軌跡對Harness搜尋至關重要。
在TerminalBench-2（一個包含89個Docker化任務的agentic編程基準）上，Meta-Harness超越了所有已報告的Claude Haiku 4.5harness，排名第一。其發現的調度代碼體現了語用能力，例如通過環境引導（Environment Bootstrap）在agent循環開始前收集沙箱環境快照。
