PinchBench是一個開源的基準測試系統，由創業團隊Kilo AI開發並維護。該基準測試於2026年2月底首次推出。PinchBench主要用於評估不同大語言模型在OpenClaw智慧型體框架中執行真實任務的能力，旨在為OpenClaw生態提供模型適配能力的評估工具。
它從任務成功率、執行速度和推理成本三個維度對模型進行排名。測試題庫覆蓋了六大類別共23項真實世界任務，每個任務都是一個包含真實提示、預期行為、原子化評分標準的微型項目。PinchBench採用自動化檢查腳本與LLM評審相結合的混合評分體系，並引入了Git哈希版本控制機制鎖定每次評測的題目和評分標準版本，確保成績的可追溯性。PinchBench完全開源，其代碼、任務題庫和評分標準均在GitHub上公開，允許用戶自行運行測試或添加新的測試任務。
基本介紹
- 外文名：PinchBench
- 產品類型：基準測試系統
- 上市時間：2026年2月底
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
PinchBench由專注於Agent基礎設施的創業團隊Kilo AI推出，該團隊由GitLab前聯合創始人兼CEO Sid Sijbrandij投資並參與創立，曾推出“氛圍編程”工具Kilo Code。PinchBench是隨著其全託管智慧型體平台KiloClaw一同發布的，KiloClaw是基於OpenClaw構建的平台，於2026年初OpenClaw技術受到關注後推出。PinchBench旨在為OpenClaw生態提供模型適配能力的評估工具，通過成功率、速度和成本三個維度評估大語言模型在真實任務中的表現，以解決市場對如何選擇適配模型的需求。
發展歷程
PinchBench基準測試系統由專注於智慧型體基礎設施的創業團隊Kilo AI開發，並於2026年2月底首次推出。該團隊由GitLab前聯合創始人兼CEO Sid Sijbrandij投資並參與創立。在推出全託管智慧型體平台KiloClaw的同時，發布了PinchBench作為其智慧型體框架評測工具。
2026年3月，PinchBench獲得了OpenClaw項目創始人的關注與轉發。
自發布起，PinchBench榜單內容便保持實時更新。其評測體系通過Git哈希版本控制機制鎖定每次評測的題目和評分標準版本，確保了成績的可追溯性和榜單的持續演進。
核心技術
PinchBench是一個專為OpenClaw生態設計的基準測試系統，通過23項真實世界任務，全方位評估大語言模型作為“編碼智慧型體”的實際能力。其定位更接近“Agent能力測試”，評估大語言模型完成完整任務的能力，而非傳統的知識問答或數學推理。
PinchBench的任務定義採用透明、可審計的YAML + Markdown格式，存儲在公開的代碼倉庫中。每個任務都是一個包含真實提示、預期行為、原子化評分標準的微型項目。目前題庫覆蓋了六大類別共23項真實世界任務。
PinchBench採用多元化的混合評分體系，具體包括自動化檢查腳本、LLM Judge以及混合評分。自動化檢查腳本針對有明確輸出標準的任務進行客觀打分；LLM Judge則針對需要主觀判斷內容質量的任務，調用高級模型作為裁判進行評估；混合評分結合兩者，先由機器檢查客觀事實，再由LLM評估文字質量。最終統計的核心維度指標包括成功率、速度和成本。
為保證評測的公平性與結果的可追溯性，PinchBench引入了嚴格的Git提交哈希值鎖定機制。每次評測運行都會記錄當前題庫和評分標準代碼倉庫的唯一加密標識，確保榜單成績都能精準追溯到具體的考題版本。當倉庫發生不影響難度的文檔改動時，成績仍可比較；一旦修改提示詞、評分邏輯等核心內容，系統將開啟新的評測世代，舊版本成績則歸檔為歷史記錄。
由於評測方式高度模擬真實、複雜的任務流程，PinchBench的評測結果揭示了一個現象：參數規模更大的模型並非總是表現更好。在PinchBench的排行榜上，那些在Agent最佳化或推理效率方面有針對性設計的模型，其排名可能優於部分參數更大的主流模型。
運營模式
PinchBench是一個完全開源、開放參與的基準測試系統。其代碼、任務題庫和評分標準均在GitHub上公開，允許用戶自行運行測試或添加新的測試任務。
系統通過官方網站和GitHub倉庫作為主要的運營渠道。為了確保評測的公正性與可追溯性，PinchBench引入了Git哈希版本控制機制，將每次評測與題庫代碼的特定提交版本綁定，形成可追溯的“考試編年史”。
核心團隊
PinchBench由一家專注於智慧型體基礎設施的創業團隊Kilo AI開發並維護。該團隊由知名開發者平台GitLab的前聯合創始人兼執行長Sid Sijbrandij投資並參與創立。
在推出PinchBench之前，Kilo AI團隊曾成功開發並發布了廣受關注的“氛圍編程”工具Kilo Code。2026年初，隨著OpenClaw項目的流行，Kilo AI進一步推出了基於OpenClaw構建的全託管智慧型體平台KiloClaw，而PinchBench正是作為其配套的智慧型體框架評測工具一同發布的。
重要事件
2026年2月底，PinchBench基準測試正式發布，並獲得OpenClaw項目創始人Peter Steinberger的關注與轉發。
在早期評測中，國產模型MiniMax M2.1和Kimi K2.5的成功率分別為93.6%和93.4%，位列全球前三。
2026年3月19日，小米發布的旗艦基座模型MiMo-V2-Pro在PinchBench評測中表現處於全球頂尖水平。
