LMSYS Chatbot Arena是由加州大學伯克利分校、加州大學聖地亞哥分校和卡耐基梅隆大學合作創立的非營利研究組織LMSYS Org推出的眾包AI模型評估平台。該平台採用匿名盲測機制，隨機分配兩個模型回答用戶問題，由用戶投票選擇更優回答，並基於西洋棋的Elo評分系統生成動態排行榜。通過累計超千萬次真實用戶投票，平台評估模型在對話、編程、數學等多維度能力，其排行榜已成為行業廣泛關注的參考。平台自2023年上線後不斷擴展，新增了針對不同語言和專項能力（如代碼生成、長上下文處理）的評測維度。
基本介紹
- 中文名：LMSYS Chatbot Arena
- 別名：LMArena、Large Model Arena
- 最近更新時間：2025年2月8日
- 技術背景：LMSYS Org
核心功能,研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
核心功能
多模型對比測試：支持多AI模型並行對比分析
自定義測試場景：靈活配置測試用例消除偏差
實時模型排行榜：基於用戶投票生成權威排名
匿名盲測機制：減少品牌偏見評估真實性能
細粒度能力評估：分維度展示模型特性表現。
研發背景
LMSYS Chatbot Arena的雛形誕生於2023年5月，由非營利性開放研究組織LMSYS（Large Model Systems Organization）發起，該組織由加州大學伯克利分校、加州大學聖地亞哥分校和卡內基梅隆大學的研究人員合作創立。創始團隊成員包括Lianmin Zheng、Ying Sheng、Wei-Lin Chiang等。項目初衷源於團隊在發布開源模型Vicuna後，希望與史丹福大學的Alpaca模型進行客觀比較，但當時缺乏合適的評測方法，這促使他們探索基於人類偏好的眾包評估方式。
發展歷程
2023年5月，LMArena的雛形誕生於由全球頂尖學府組成的非營利性開放研究組織LMSYS。核心成員包括Lianmin Zheng、Ying Sheng、Wei-Lin Chiang等人。為了比較當時新發布的Vicuna等開源模型的性能，團隊搭建了實驗性網站Chatbot Arena，並於2023年5月推出初始版本評測9個開源模型，次月首創匿名對戰機制。該平台採用“匿名對戰”與“人類偏好投票”結合Bradley–Terry模型（Elo式評分）的核心機制。
2023年底至2024年初，隨著GPT-4、Claude、Gemini、Mistral、DeepSeek等主流模型陸續接入，平台訪問量迅速增長。2024年1月，平台累計收集超114萬次用戶投票，評測模型數量突破100個。2024年5月，平台發布英語/中文/法文專項榜單，Yi-Large與GPT-4o並列中文榜首。
2024年，平台功能開始擴展，評測任務不再局限於對話，陸續上線了專注代碼生成的Code Arena、專注搜尋評估的Search Arena、專注多模態圖像理解的Image Arena等子平台。平台在2023年末新增了代碼生成和長上下文處理能力評估模組，並於2025年2月新增網頁套用開發能力評測維度，中國模型Qwen2.5-Max首次進入總榜前十。
2025年1月，為體現評測範圍從聊天機器人擴展到各類大型模型的轉變，平台正式從Chatbot Arena更名為LMArena（Large Model Arena）。
2025年5月，LMArena背後的團隊正式註冊公司“Arena Intelligence Inc.”，並宣布完成1億美元種子輪融資，投資方包括a16z、UC Investments和Lightspeed等。
公司化後，平台開始探索商業化服務。2025年初推出Inclusion Arena產品，通過API和SDK收集生產環境中的反饋數據；2025年9月正式推出首個商業化產品AI Evaluations，為企業提供模型評估服務。截至2025年12月，AI Evaluations的年度經常性收入（ARR）已達到3000萬美元。
截至2026年初，LMArena已完成新一輪1.5億美元融資，估值達到17億美元。平台平均每月吸引超100萬獨立用戶，覆蓋全球100多個國家和地區，累計評估模型超過400個。
核心技術
平台採用獨特的“人機協同評估框架”，其邏輯是用人類投票去捕捉“真實偏好”，再通過算法去保證“統計公平”。該框架的核心是“匿名對戰機制”，當用戶輸入一個問題後，系統會隨機分配兩個匿名模型生成回答，用戶在不知道模型身份的情況下進行投票，投票完成後系統才會揭示模型身份。
平台基於Bradley–Terry模型實現Elo式評分機制，將模型間的勝負關係轉化為動態排名分數。平台會自動平衡模型的出場頻率、任務類型和樣本分布，防止因曝光量不均導致的評估偏差。所有對戰數據、投票結果和排名算法均開源，可供社區復現與分析。
平台採用vLLM等最佳化技術作為高性能推理後端，以高吞吐、低延遲服務海量用戶請求。
運營模式
LMSYS Chatbot Arena是由加州大學伯克利分校、加州大學聖地亞哥分校和卡耐基梅隆大學合作創立的非營利組織LMSYS Org開發的眾包AI模型評估平台，採用匿名盲測機制讓用戶隨機對比兩個模型的回答並投票，基於Elo評分系統生成動態排行榜。當用戶輸入一個問題後，系統會隨機分配兩個匿名模型生成回答，用戶在不知模型身份的情況下投票選擇更優答案，投票結束後系統基於Bradley–Terry模型實現Elo式評分機制，分數根據勝負實時變化形成動態排行榜。
2025年5月，LMArena背後的團隊正式註冊公司“Arena Intelligence Inc.”，並宣布完成1億美元種子輪融資，投資方包括a16z、UC Investments和Lightspeed等。2025年初，LMArena推出了Inclusion Arena產品，通過API和SDK的方式將測試嵌入到真實的AI套用中，以收集生產環境中的反饋數據。2025年9月，LMArena正式推出第一個商業化產品AI Evaluations，主要面向開發AI大模型的企業或研究機構提供模型評估服務。
2026年1月，Arena Intelligence Inc.宣布完成1.5億美元新一輪融資，公司估值達到17億美元。獲得新融資後，公司計畫超越單純的排行榜業務，拓展企業級評估服務，並探索利用海量用戶投票數據進行人類反饋強化學習（RLHF）等方向。
核心團隊
LMSYS Chatbot Arena由來自加州大學伯克利分校、加州大學聖地亞哥分校、卡內基梅隆大學等機構的研究人員發起。其核心創始成員包括Lianmin Zheng、Ying Sheng、Wei-Lin Chiang等。
作為LMArena早期搭建的核心參與者，朱邦華（Zhuohan Li）曾指出，LMArena的創新點在於系統架構與調度機制，其技術本身更多的是經典統計方法的工程化實現。
團隊的學術導師包括Ion Stoica。
重要事件
LMSYS Chatbot Arena自2023年上線以來，發生了多次標誌性的排名更迭。2024年3月，Anthropic的Claude 3 Opus首次在排行榜上超越長期占據榜首的GPT-4，後因比分過於接近，兩者並列第一。同年5月，平台新增中文分榜，零一萬物的Yi-Large模型在該分榜上與GPT-4o並列第一。2024年11月，OpenAI的GPT-4o在升級至版本1120後，以1361分的高分重新奪回總榜榜首位置。2025年2月，阿里巴巴的Qwen2.5-Max模型首次進入總榜全球前十，並在數學、編程等專項榜單中表現突出。同年4月，因Meta提交的Llama 4 Maverick模型被質疑為最佳化投票結果的“專供版”而引發“刷榜事件”，這促使LMArena官方更新排行榜政策，要求廠商披露模型版本以確保公平。2025年5月，騰訊混元模型首次進入總榜前八。此外，谷歌形成了在正式發布新模型前，以神秘代號將其置於平台進行測試的慣例操作。
