LoCoMo是一個用於評估人工智慧系統在長上下文會話中記憶與推理能力的基準測試。它被廣泛套用於AI記憶系統領域的性能評測。
在AI記憶系統的發展中，LoCoMo被廣泛用作評測工具。早期基於相似度檢索的系統在該基準上的得分普遍在60%-70%。通過引入知識圖譜、時間軸以及多智慧型體協作等機制，系統性能逐步提升至75%左右，進而突破85%。後續出現的系統如EverMemOS和CogmemAi在該基準上的準確率分別達到了92.3%和91%。
基本介紹
- 外文名：LoCoMo
研發背景,發展歷程,核心技術,運營模式,重要事件,
研發背景
LoCoMo是人工智慧記憶領域廣泛採用的基準測試集（Benchmark）之一。
其研發背景源於記憶領域的評測存在因評測方法、所用模型、版本等因素造成的評測結果分歧問題。
發展歷程
早期階段（約2023-2024年）主要為工程化集成階段，代表系統如Mem0和Supermemory重點封裝向量資料庫操作以提供簡單API。此階段基於相似度檢索的方法在LoCoMo基準測試上得分普遍在60%-70%，主要受限於檢索的固有缺陷。
通過引入多智慧型體協作、記憶提純、類腦整合等機制，系統性能實現突破，LoCoMo得分超過85%。
約2025年，EverMemOS（開源版）在LoCoMo評測中達到92.3%的綜合得分，橫評可復現92.32%，在綜合得分上超越了LLM全量上下文基準，且平均Token使用量較低。其他代表性成果包括陳天橋鄧亞峰團隊在2026年初發布的系統在LoCoMo上達到93.05%的準確率，CogmemAi系統在LoCoMo上的準確率為91%。
核心技術
LoCoMo基準設計的核心思想在於通過包含多個對話集的評測集來全面檢驗模型的長上下文記憶與修改能力。該基準通常包含10個對話集，旨在全面檢驗模型在單跳回憶、多跳推理、時序推理和開放域生成等多方面的能力。
在技術實現上，LoCoMo的評測通常採用大語言模型作為自動化評分法官，對模型在對話集上的表現進行量化評估。
LoCoMo的評測結果受到評測方法、所選用的大語言模型及其具體版本等多種技術變數的影響。
為提升基準測試對更廣泛實際套用場景的覆蓋能力，部分研究團隊正嘗試對LoCoMo基準進行擴展，例如拓展其中的中文任務。
運營模式
LoCoMo是用於評估長上下文代碼修改能力的基準測試，在AI記憶系統領域被用作性能測試工具。部分研究團隊與公司會在相關報告中公布其在LoCoMo上的評測結果。例如，有系統在公布LoCoMo測試結果後進行了版本更新。另有系統在該評測中報告了其成績。也有團隊基於LoCoMo進行評測以驗證系統性能。此外，也有研究公布了其在LoCoMo基準上的準確率數據。
