LongMemEval是一個綜合基準測試，在2024年設計用於評估聊天助手的五種核心長期記憶能力：信息提取、多會話推理、時間推理、知識更新和棄權。
該基準包含500個問題，對現有長期記憶系統構成挑戰，商業聊天助手和長上下文大語言模型在持續互動中記憶信息時準確率下降約30%。LongMemEval的研究提出了一個將長期記憶設計分為索引、檢索和閱讀三階段的框架。基於關鍵實驗見解，提出的最佳化方案包括用於值粒度的會話分解、用於索引的事實增強鍵擴展和用於細化搜尋範圍的時間感知查詢擴展。LongMemEval被用於獎金達8萬美元的學術競賽中，作為核心評估標準。2026年4月7日，由米拉·喬沃維奇開源的AI記憶系統MemPalace在LongMemEval基準測試中取得了100%的成績，是首個在該基準上獲得滿分的系統。LongMemEval已成為衡量AI模型長期記憶能力的關鍵基準之一，常與LoCoMo等基準一同被提及。
技術框架,性能表現,意義與影響,
技術框架
LongMemEval 的研究提出了一個統一的長期記憶設計框架，將整個過程分解為三個階段：索引 (Indexing)、檢索 (Retrieval) 和閱讀 (Reading)。這個框架為構建和最佳化聊天助手的長期記憶系統提供了理論基礎。
基於關鍵實驗見解，研究提出了多項記憶體設計最佳化方案，包括會話分解 (Session Decomposition) 用於實現更細粒度的值管理、事實增強鍵擴展 (Fact-Augmented Key Expansion) 用於改進索引階段以及時間感知查詢擴展 (Time-Aware Query Expansion) 用於在檢索時細化搜尋範圍。這些最佳化旨在提升記憶召回和下游問題回答的準確性。
性能表現
在LongMemEval基準測試中，系統在知識更新與時序推理任務上達到83.00%的準確率，位居第一。其中，知識更新任務的性能提升20.6%，體現出系統可通過持續語義鞏固不斷“進化”的能力。
LongMemEval包含500個精心策劃的問題，嵌入在可自由擴展的用戶-助手聊天歷史中，對現有長期記憶系統構成顯著挑戰。商業聊天助手和長上下文大語言模型在持續互動中記憶信息時，準確率下降約30%。
研究提出了一個將長期記憶設計分為索引、檢索和閱讀三階段的統一框架。基於關鍵實驗見解，提出的最佳化方案包括用於值粒度的會話分解、用於索引的事實增強鍵擴展和用於細化搜尋範圍的時間感知查詢擴展。大量實驗表明，這些最佳化方案能大幅提升在LongMemEval上的記憶回憶和下游問答性能。
2026年4月7日，有研究團隊開源的AI記憶系統在LongMemEval基準測試中取得了100%的成績。
根據2026年4月9日的報導，該系統在LongMemEval基準測試的RAW模式中取得了96.6%的成績。
意義與影響
LongMemEval的基準測試和代碼均已公開可用，為提升基於大語言模型的聊天助手的長期記憶能力提供了寶貴資源和指導。
LongMemEval已成為衡量AI模型長期記憶能力的關鍵基準之一，常與LoCoMo等基準一同被提及，用於評估模型在信息提取、多會話推理、知識更新等核心能力上的表現。
LongMemEval被用於獎金達8萬美元的學術競賽中，作為核心評估標準，推動了生態發展。
