持續學習

持續學習（Continual Learning），又稱終身學習（Lifelong Learning），是機器學習領域旨在使模型能夠從連續數據流中逐步學習新任務，同時避免遺忘舊知識的技術，其核心挑戰是困擾AI領域長達30年的“災難性遺忘”問題，即模型在學習新知識時嚴重覆蓋舊知識的現象。

2019年，美國DARPA啟動了Lifelong Learning Machines專項以推動該領域研究。主流方法可分為基於正則化、基於回放、基於參數隔離以及基於預訓練模型等類別。為緩解災難性遺忘，研究者提出了多種方法，例如LwF、EWC、SI、ICARL、GEM、OWM、BIR等基於權重正則化、記憶重放等思路的傳統方法。其中，正交權重修正方法 (OWM) 由中國科學院自動化所余山研究員團隊提出，相關論文於2019年發表在《Nature Machine Intelligence》上。2025年，谷歌研究人員提出了名為“嵌套學習”(Nested Learning)的機器學習新範式，旨在通過將模型架構與最佳化算法統一為嵌套最佳化系統以實現高效的持續學習，並設計了HOPE架構進行驗證。而基於大腦仿真平台NiMiBrain®研發的神經元群體學習規則（NAL®）方法在速度與精度上展現了進展，例如在CHARACTER5378數據集上能在30秒內達到91.1%的準確率。在機器人領域，出現了如LEGION、SOP等旨在實現終身強化學習或線上持續學習的框架。隨著大規模預訓練模型的廣泛套用，基於預訓練模型的持續學習方法成為當前研究的重點，這類方法主要分為基於微調和基於提示的方法。產業界在AI系統的持久記憶方面取得進展，2026年被部分業內人士稱為“持續學習之年”。

基本介紹

• 中文名：持續學習
• 外文名：Continual Learning
• 別名：終身學習
• 適用領域：自動駕駛
  產品推薦
  機器人控制
  醫療診斷
  智慧型家居
  搜救任務
  無人機

發展歷程

持續學習旨在解決機器學習在按順序學習新任務時出現的災難性遺忘問題。近年來，人們開始重視“災難性遺忘”問題。2019年，美國DARPA啟動了Lifelong Learning Machines (L2M)專項，標誌該領域受到業界重視。

為解決災難性遺忘問題，全球科學家發展出多種方法，使得這一問題得到一定程度的緩解。這些方法包括LwF (Learning without Forgetting)、EWC (Elastic Weight Consolidation)、SI (Synaptic Intelligence)、ICARL (Incremental classifier and Representation Learning)、GEM (Gradient Episodic Memory)、OWM (Orthogonal Weight Modification)、BIR (Brain-inspired Replay)等。其中，我國中科院自動化所的余山研究員團隊提出的正交權重修正方法(稱為OWM方法)也取得過不錯的連續學習分類效果，有關論文發表在2019年AI頂刊《Nature Machine Intelligence》上。

2025年，谷歌研究人員提出了名為“嵌套學習”(Nested Learning)的機器學習新範式，旨在通過將模型架構與最佳化算法統一為多層級、嵌套的最佳化系統來更有效地解決持續學習難題，並設計了HOPE架構進行驗證。該範式首次將模型架構和最佳化算法視為一個統一的、連貫的嵌套最佳化系統。HOPE架構在所有規模和基準任務中均表現出優異的性能。

2026年，矽谷科技圈形成了“持續學習之年”的行業共識，該領域被視為實現通用人工智慧（AGI）的關鍵突破方向，多家領先科技公司正推動相關技術的研發與套用。

套用領域

持續學習已在多個實際套用中扮演重要角色。在自動駕駛、產品推薦等套用中，我們不可能知道將來會遇到怎樣的新場景新產品內容，持續學習使模型能夠不斷適應新的道路和交通狀況。

在機器人控制領域，持續學習技術可套用於家庭服務機器人持續學習新家電操作，或在動態產線中自適應多工種需求。例如，SOP框架旨在讓機器人在真實世界中實現分散式、持續的線上學習。機器人能夠通過終身強化學習框架（如LEGION）持續積累技能，甚至重組舊技能解決複雜新任務。

持續學習技術可用於處理未知的新產品內容，在用戶偏好動態變化的環境中提供產品推薦。該技術也套用於醫療診斷系統，以持續更新疾病知識庫，適應新的醫療發現和診斷模式。在智慧型家居系統中，模型可以持續學習用戶的習慣和偏好。

採用終身學習技術的機器人可用於搜救任務和災害現場。該技術也可用於無人機等設備，使其在不接入雲的情況下實現學習且不遺忘舊知識。

持續學習技術也套用於AI辦公與個人助理領域，例如通過引入“知識庫”實現永久記憶，使AI能夠長期記憶用戶偏好、工作歷史和項目信息，從而實現深度個性化協作。

挑戰與展望

傳統基於誤差反向傳播算法的主流持續學習方法存在與大腦學習機制不匹配的根本局限。這些方法實際效果與大腦相比相差較遠，且普遍存在速度慢的瓶頸。因此，傳統方法難以應對在開放環境中較大規模很多類別的實際套用場景。

在研究範式上，“嵌套學習”範式首次將模型架構和最佳化算法視為一個統一的、連貫的嵌套最佳化系統，為持續學習提供了新的設計維度。同時，受神經科學啟發的新方法不斷湧現，如借鑑概念細胞形成機制的“神經元群體學習規則”，相比傳統正交權重修正方法速度提升180倍以上，已能處理大規模數據集。用於機器人終身強化學習的“LEGION”框架，結合貝葉斯非參數知識空間與語言嵌入，在真實機器人任務中實現了“零遺忘”和技能組合。面向真實世界部署的線上持續學習系統“SOP”框架，旨在讓機器人在實際環境中持續進化。

未來的研究方向將圍繞結合大規模預訓練模型與經典持續學習方法構建新的架構設計和最佳化策略。探索模擬人腦“離線”記憶整合機制，如睡眠中的記憶重放，以實現更穩固的長期記憶。最終目標是構建能夠真正自適應、自我完善的下一代人工智慧系統。