發展歷程,影響,相關研究,
發展歷程
早期階段，後訓練曾被視為對預訓練模型進行“調優”或“對齊”的輔助環節。隨著大模型競賽深化，業界逐漸認識到後訓練的重要性，其方法呈現出共同特點，包括“合成數據、疊代訓練、人類偏好標籤和大量過濾”。基於人類反饋的強化學習等技術得到廣泛套用，後訓練的地位開始轉變。
2025年，以DeepSeek為代表的技術突破及行業格局演變，標誌著“百模大戰”階段告一段落，人工智慧正式邁入“大模型後訓練時代”。大模型的發展不再單純追求規模和性能，而是更加注重技術的實用性、可持續性以及與社會需求的深度融合。
2025年至2026年，後訓練擴展律概念被提出並驗證，表明在後訓練階段增加強化學習訓練和推理思考的計算量能持續提升模型性能。OpenAI o1模型的發布是這一規律的體現。
2026年，技術研發持續深入，產業界與學術界推出新的後訓練框架與最佳化方法。騰訊混元於2026年3月開源了面向世界模型的強化學習後訓練框架WorldCompass。北京大學團隊則提出了針對擴散模型的高效後訓練最佳化器RLR。
影響
後訓練已成為決定大模型最終價值的關鍵階段，推動AI開發範式從單純追求預訓練規模擴張轉向精細化、高效化。後訓練能以遠低於預訓練的計算成本，顯著提升模型在特定任務上的性能。
後訓練改變了算力分配邏輯，即遵循“後訓練擴展律”，AI能力的提升可通過增加後訓練階段的強化學習探索計算和測試時的推理計算來實現。
後訓練催生了專注於後訓練工程化、平台化的技術服務產業。
後訓練對模型安全與對齊提出更高要求，並暴露了現有對齊範式可能面臨“假對齊”等潛在風險。
相關研究
學術界對後訓練的前沿探索、理論反思和未來展望日益深入。一篇發表於2025年的綜述性研究《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》系統梳理了大型語言模型的後訓練技術，將其主要分為微調、強化學習和測試時擴展等方法，並總結了通過鏈式思維、思維樹等路徑提升模型推理能力的策略。
當前研究主要圍繞推理能力增強技術、對齊的理論挑戰與新發現、針對特定模型的最佳化算法以及後訓練擴展律與算力分配等方向展開。在推理能力增強技術方面，研究聚焦於通過測試時擴展、思維鏈、思維樹等方法在推理階段動態增強模型能力。同時，混合專家模型因其在效率與性能上的優勢，越來越多地被選作後訓練的基礎模型。在對齊的理論挑戰方面，傳統“99%預訓練+1%後訓練”的淺層對齊範式面臨根本性質疑。楊耀東課題組在ACL 2025的研究首次從壓縮理論視角揭示，大模型參數中存在源自預訓練的“彈性”機制，導致模型在對齊後可能產生“抵抗”或“回彈”現象，出現“假對齊”風險。這一發現指出，實現穩健、深層次的對齊可能需要與預訓練相當的甚至更多的資源，並呼籲構建全新的“抗彈性對齊”範式。
