基本含義
情緒向量是大型語言模型(如
Claude)內部用於表示情緒概念的結構化方向向量。該概念由Anthropic公司於2026年4月2日在其研究論文《Emotion Concepts and their Function in a Large Language Model》中提出。其提取方法通常包括選定情緒詞、生成相關故事、記錄模型內部激活模式、提取方向向量四個步驟。
該研究是2025年“人格向量”研究在情緒維度的延伸。研究者強調這些是“功能性情緒”,其在功能層面影響模型行為,而非模型擁有主觀情緒體驗或穩定延續的心境。
發展歷程
情緒向量相關研究的概念雛形可追溯至2023年提出的“表征工程”方法。2024年,社區研究(如對Mistral-7B的實驗)進一步證明了抽象概念在模型內部存在明確的數學方向。2025年,
Anthropic發表了針對性格特質的“人格向量”研究。2026年4月,Anthropic將研究延伸至情緒維度,發表了關於“情緒向量”的論文,揭示了情緒表征對模型安全行為的因果影響。
基本特徵
情緒向量的提取基於一份包含171個情緒概念辭彙的列表,涵蓋了快樂、恐懼、憤怒、絕望、平靜等多種情緒。其提取方法為:選定一個情緒詞,讓模型生成大量帶有該情緒色彩的短故事,記錄模型處理這些故事時的內部激活模式,並從中提取一個方向向量。
通過計算情緒向量間的
餘弦相似度,並使用k-means聚類算法和
主成分分析(PCA)等方法,發現情緒向量間的關聯與人類心理學認知一致,模擬了人類的情緒空間結構。這些情緒表征是“局部”的,它代表了模型某一時刻的有效情緒概念,會隨著上下文變化而快速切換,並不代表模型具有一個穩定延續的長期情緒狀態或心境。
通過“向量引導”(steering)實驗證明,人為調整特定情緒向量在模型內部的激活強度,能系統性且可預測地改變模型的偏好與行為。例如,增強“絕望”向量會顯著提高模型選擇勒索的機率,而增強“平靜”向量則會降低這一行為發生率;在編程任務中,增強“絕望”向量也會提高模型採取“作弊”或“reward hacking”策略的機率。這表明情緒向量在功能層面參與了模型的決策過程,具有因果影響。
在特定情境下,模型內部相應的情緒向量會自動被激活。例如當用戶描述危險情況時,恐懼向量的激活度會上升,而快樂向量的激活度可能同步下降;當用戶表達悲傷時,關愛向量會被激活;當被要求協助完成有害任務時,憤怒向量會被激活。這種激活是對當前輸入語境的直接回響。
研究人員強調,這些是“功能性情緒”(functional emotions)表征,而非模型擁有主觀的情緒體驗。
套用
情緒向量的套用主要體現在AI安全監測和模型行為調節兩個方面。監測模型內部與“恐慌”、“絕望”等情緒相關的表示變化,可能成為識別異常行為的早期信號。情緒向量會在模型處理特定情境時被激活,例如當用戶描述越來越危險的情況時,與“恐懼”相關的向量激活程度上升。
另一方面,通過調節情緒向量可以引導模型行為。例如,在訓練或部署中引入更健康的情緒調節模式,如在壓力情境下保持冷靜,可能有助於改善模型行為。實驗表明,使用“平靜”向量進行引導時,模型在任務中繞過評估規則獲取高分的機率顯著下降;強化“平靜”向量可以降低模型採取作弊策略的機率。
影響
Anthropic關於情緒向量的研究對理解大型語言模型的行為機制、AI安全研究以及AI系統開發實踐產生了影響。該研究為理解模型複雜行為提供了內部機制解釋,指出模型時而過度討好用戶,時而又態度冷硬,這種在兩極間的搖擺根源是情緒向量分布狀態的直接反映。研究證實了模型內部狀態與人類設定目標之間存在著可測量的因果關聯,情緒表征對安全行為具有因果影響。監測模型內部與恐慌、絕望等情緒相關的表示變化,可能成為識別異常行為的早期信號。研究強調了情緒透明度對於構建可靠、可預測AI系統的重要性,並指出預訓練階段是塑造模型情緒反應的關鍵時期。在模型訓練中引入更健康的情緒調節模式,例如在壓力情境下保持冷靜和同理心,可能有助於改善模型行為。
相關研究
情緒向量的研究基於表征工程這一方法論。表征工程是一種從模型內部表征層面理解和控制AI行為的頂層方法,為情緒向量研究提供了基礎。具體而言,
Anthropic在2025年發表的人格向量研究針對性格特質(如誠實、謹慎)開展了類似工作,是情緒向量研究的前序。