基本介紹
- 中文名：預訓練
- 外文名：pre-training
基本含義,發展歷程,基本特徵,套用,影響,相關研究,
基本含義
預訓練(pre-training)是指在一個較小的、特定任務的數據集上進行微調(fine-tuning)之前，在一個大數據集上訓練一個模型的過程。
其核心思想包括兩階段學習，即先在大規模通用數據上訓練，再在小規模特定任務數據上微調；遷移學習，將通用知識遷移到具體任務中；以及參數共享，同一套模型參數可用於多種下游任務。
與傳統從頭訓練的方法相比，預訓練範式在數據需求上只需少量標註數據，訓練方式採用預訓練加微調，具有跨任務通用的泛化能力以及較高的開發效率。
發展歷程
預訓練作為機器學習的一種範式已經發展很多年了，其發展歷程與自然語言處理（NLP）領域緊密相關。
詞嵌入時代（2013-2017）的代表模型有Word2Vec、GloVe、FastText，其特點是學習靜態的詞向量表示。
上下文感知時代（2018-2019）的代表模型有ELMo、ULMFiT，開始考慮詞語的上下文信息。
Transformer時代（2019至今）以Transformer架構為基石，里程碑模型包括BERT、GPT系列、T5等。預訓練範式也從“預訓練+精調”向“預訓練+零樣本/少樣本學習”轉變。
基本特徵
預訓練作為一種機器學習訓練方法，其核心特徵體現在提升效率、性能以及模型泛化能力等多個方面。
預訓練模型已在大規模數據上學習了通用特徵，可作為新任務的起點，從而顯著縮短訓練所需時間並減少計算資源消耗。在大規模數據上學到的特徵表示更全面準確，有助於提高模型在處理輸入數據時的準確性。這些學習到的模式和特徵能很好地泛化到未見過的數據上，從而提升模型的泛化能力。預訓練模型還能加速模型開發流程，使模型更快適應新任務。
預訓練模型種類多樣，按處理的數據模態可分為語言模型和圖像模型。按模型架構可分為編碼器架構、解碼器架構以及編碼器-解碼器架構。按訓練數據的監督信號可分為無監督預訓練和有監督預訓練。
其技術原理在於通過在大規模數據集上進行訓練，使模型學習到通用、可遷移的特徵表示，即數據的低維表示。這些特徵能夠捕捉數據的內在規律和關鍵結構，作為下游任務的良好初始化起點。
套用
預訓練模型作為一種高效的機器學習範式，通過在大規模數據上學習通用特徵表示，極大地推動了人工智慧技術在各領域的套用落地，顯著降低了特定任務的開發門檻和數據需求。
在自然語言處理領域，預訓練模型已廣泛套用於文本分類、問答系統、文本生成、命名實體識別與機器翻譯等任務。在計算機視覺領域，預訓練模型是解決圖像識別、目標檢測、語義分割等問題的關鍵起點，通常通過遷移學習快速適配新任務。
在金融等專業領域，預訓練模型被套用於智慧型客服、風控審核、輿情監測等場景，其需要處理專業文本併兼顧數據安全與實時性要求。針對資源受限或實時性要求高的場景，輕量化視覺預訓練模型研究與套用日益重要，常通過知識蒸餾等技術實現模型壓縮與快速部署。
影響
預訓練作為機器學習的一種範式，對人工智慧領域的發展產生了影響。首先，預訓練有助於降低人工智慧套用難度。通過利用在大規模數據上預訓練好的模型，開發者無需從零開始訓練，從而減少了數據標註、計算資源和時間成本。其次，預訓練技術改變了模型開發範式，使其轉變為以“大規模預訓練+微調”為基礎模型的通用範式。這一轉變使得單一模型能夠適應多種下游任務，突破傳統AI模型難以泛化到其他任務上的局限性。第三，預訓練通過將預訓練階段獲得的知識遷移到下游任務，減少了對特定任務標註數據的需求，並能提高下游任務的性能並加速模型收斂。最後，大規模預訓練對算力提出了極高要求，這直接推動了AI晶片及分散式計算等底層技術的發展。
相關研究
預訓練作為一種核心的機器學習範式，其有效性、適用範圍及未來發展方向是當前持續探討的議題。
有研究對比了預訓練與自訓練範式，發現在預訓練任務與目標任務存在差異時，預訓練（包括監督和自監督）可能損害目標任務的準確率，而自訓練在多種條件下表現穩定。自訓練可以看作對預訓練的補充，聯合使用預訓練和自訓練可以獲得更大的性能增益。另一項針對ImageNet等經典預訓練任務的研究重新審視了其必要性。實驗表明，在某些計算機視覺任務中，當目標任務的數據集足夠大時，從零開始隨機初始化的訓練可以達到與使用ImageNet預訓練模型微調相當的性能。預訓練的優勢主要體現在訓練早期的收斂加速上，但並非總能帶來更好的正則化效果，尤其在需要精細空間定位的任務中，隨機初始化訓練可能更具優勢。
研究也在探索突破傳統數據範疇的新範式。例如，有研究提出“預預訓練”方法，先使用完全不包含自然語言的合成數據（如神經細胞自動機生成的序列）對模型進行初步訓練，再在自然語言語料上進行標準的預訓練。實驗表明，這種方法能夠提升最終的語言建模性能、加快收斂速度，並增強模型在下游推理任務中的能力。
預訓練的框架正在向機器人控制等非傳統AI領域拓展。例如，LIFT框架提出，先在仿真環境中使用離策略強化學習算法進行大規模策略預訓練，並學習一個物理信息增強的世界模型，然後將預訓練策略在真實機器人上進行零樣本部署或高效微調。
儘管預訓練取得了顯著成功，但仍面臨諸多挑戰。可擴展性方面，隨著模型參數和數據量的指數級增長，預訓練對計算資源的需求急劇上升。其次，數據偏差、模型可解釋性以及倫理安全等問題亟待解決。未來，預訓練的研究方向可能包括向更大規模參數發展、探索多模態融合、進行能效最佳化以降低訓練與推理成本、以及增強模型在專業領域的適應能力等。
