ConvoMem是由Salesforce發布的一個對話記憶基準。它是一個全面的基準，用於評估大型語言模型在多輪對話中保留、更新和利用信息的記憶能力，包含六個證據類別中的75,336個問答對。
該基準提供了包含100個多樣化角色和40,000條填充對話的真實情境，並提供了預先混合的測試案例，覆蓋1到300條訊息共15種上下文大小，用於系統性的評估。
基本介紹
- 外文名：ConvoMem
研發背景,核心技術,數據集與使用,
研發背景
ConvoMem是由Salesforce於2025年11月26日發布的對話記憶基準，用於評估大型語言模型中的對話記憶能力。
該基準的研發旨在解決對話AI系統中記憶體管理的關鍵挑戰，在這些系統中，模型必須在多輪對話中保留、更新和利用信息。
核心技術
ConvoMem基準通過設計不同的證據類別來系統化評估模型在長對話中的記憶能力。該基準測試了六種不同的記憶能力。用戶證據測試模型記憶用戶提供信息的基本記憶保持能力。助手事實證據測試模型記住自己陳述的能力。變化證據測試模型跟蹤信息狀態變化並僅保留最新信息的能力。棄權證據測試模型識別何時應說“我不知道”的能力，對於避免幻覺至關重要。偏好證據測試模型對用戶聲明偏好的細微理解和套用能力。隱式連線證據測試模型在對話不同部分之間進行多跳推理、連線信息的能力。
該基準包含100個具有詳細敘事背景的具體角色，旨在創建真實且多樣化的對話場景，反映CRM/銷售領域的真實專業環境。這些角色跨越六大職業類別，包括銷售與業務發展、市場行銷與潛在客戶生成、客戶服務與售後、客戶服務與技術支持、內部運營與高管領導、客戶與潛在客戶角色。
數據集與使用
ConvoMem基準數據集主要包含核心基準（core_benchmark）和傳統基準轉換（legacy_benchmarks）兩部分，其中核心基準是評估模型對話記憶能力的主要組成部分。
核心基準包含四個核心組件。角色定義檔案（personas_default.json）提供了100個代表不同職業背景的詳細角色，用於構建真實的對話場景。六類證據問題集（evidence_questions）包含總計75，336個問答對，涵蓋用戶證據、助手事實證據、變化證據、棄權證據、偏好證據和隱式連線證據六種類別，每類問題下又按證據數量分子目錄。填充對話集（filler_conversations）包含40，000條與評估無關的對話，用於模擬真實、冗長的多輪對話上下文。預混合測試案例集（pre_mixed_testcases）將證據問題與填充對話按特定比例混合，生成了在15種不同上下文大小下可直接使用的測試案例。
證據檔案和填充對話檔案均採用特定的JSON格式。每個檔案包含一個“evidence_items”列表，其中每個項都定義了“question”、“answer”、“message_evidences”以及完整的“conversations”。
用戶可以直接使用預混合的測試案例進行快速、標準化的評估。用戶也可以根據研究需求，靈活選擇特定的證據類別、證據數量或上下文大小的子集進行評估。此外，用戶還可以利用原始的證據問題檔案和填充對話檔案，自定義混合策略與評估流程。
