Ouro

Ouro是位元組Seed團隊聯合多家機構推出的循環語言模型，其名稱源自象徵循環與自我吞噬的銜尾蛇（Ouroboros）。該模型通過潛在空間疊代計算與熵正則化目標，在7.7T tokens數據上進行預訓練，直接將推理能力構建至底層架構，突破傳統大語言模型依賴後期微調的限制。

模型採用多階段訓練流程，先通過3T token穩定訓練後分支為1.4B和2.6B參數版本，經CT退火、LongCT等階段最佳化。其參數效率為標準Transformer的2–3倍，在HEx-PHI基準測試中展現出更強的安全性與類人推理特性。最終版本通過4個循環步驟平衡計算深度與穩定性，並產出專注於推理的Ouro-Thinking系列模型。

基本介紹

• 外文名：Ouro
• 開發商：位元組Seed團隊

研發背景

現代LLM通常依賴顯式的文本生成過程（例如「思維鏈」）來進行「思考」訓練。此外，在實際部署中，擁有數千億參數的模型需要龐大的基礎設施，這會增加延遲和成本，並限制其可用性，使得參數效率變得至關重要。因此，研究人員致力於探討如何在固定的參數預算內實現更優的模型性能。這種策略將推理任務推遲到訓練後的階段，未能充分挖掘預訓練數據中的潛力。為解決這一問題，位元組Seed團隊聯合多家機構推出了Ouro，一類被稱為循環語言模型（LoopedLanguageModels）的新型預訓練模型，其名稱源於象徵循環與自我吞噬的「銜尾蛇」（Ouroboros）。

技術特點

Ouro在潛在空間中進行疊代計算。該架構被稱為循環語言模型（LoopLM），其核心是讓模型能夠自主選擇每個詞元和樣本的循環步數，實現自適應計算。Ouro採用熵正則化目標以實現學習型深度分配，該策略通過熵正則化避免模型陷入較淺的計算深度或過度使用長循環，從而最佳化計算資源分配。模型擴展至7.7Ttokens的數據規模，訓練數據涵蓋網路文本、數學公式、代碼和長上下文文檔，貫穿多個階段以強化推理、編碼和長上下文技能。這些設計將推理能力直接構建到了預訓練階段，使得模型能夠在預訓練階段直接學習和構建推理能力，而非僅依賴後期微調。通過對照實驗，研究者發現Ouro的性能提升並非源於知識存儲量的增加，而是得益於其更高效的知識操控與推理能力。研究證明，14億和26億參數的LoopLM在大多數基準測試中與40億和80億參數的標準Transformer模型相當，參數效率提高了2-3倍。循環不會增加原始知識存儲量，但能顯著增強需要事實組合和多跳推理任務的知識操作能力。此外，LoopLM架構的疊代精化提供了推理軌跡，有助於緩解標準思維鏈（CoT）中的後顧合理化問題，其安全性和可靠性均隨循環步驟增加而有所提高。這項工作確立疊代潛在計算作為參數和數據之外的第三個關鍵擴展維度。進一步分析表明，Ouro的潛在推理過程相比標準LLM，更接近真實的人類推理機制。

訓練流程

數據規模

Ouro的訓練流程是一個多階段過程，總共使用了7.7Ttokens的數據。訓練數據涵蓋網路文本、數學公式、代碼和長上下文文檔，貫穿多個階段以強化推理、編碼和長上下文技能。

預熱與穩定訓練

初始階段包括通用的預熱及3Ttoken的穩定訓練。

參數分支

模型通過“upcycling”策略分支為1.4B和2.6B兩種參數規模的變體。

進階訓練

兩種變體均獨立經歷後續四個相同的訓練階段：第二次穩定訓練（3Ttoken）、CT退火（CTAnnealing,1.4Ttoken）、用於長上下文的LongCT（20Btoken）以及中途訓練（Mid-Training,300Btoken）。

微調強化

為了強化特定能力，模型還額外經歷了一個專門的推理監督微調階段，以創造出專注於推理的Ouro-Thinking系列模型。

循環訓練步驟

在訓練穩定性方面，團隊發現最初使用8個循環步驟會導致損失尖峰等不穩定問題，因此在後續階段將循環步驟減少到4，並增加了訓練批次，以此在計算深度和穩定性之間取得了平衡。訓練目標函式結合了所有循環步驟的期望任務損失，並加入熵正則化項，以鼓勵模型探索不同的計算深度。

性能特點

參數效率

研究證明，1.4B和2.6B參數規模的LoopLM在大多數基準測試中分別達到了與4B和8B參數的標準Transformer（如Qwen3-Base）相當的性能，實現了2–3倍的參數效率提升。其中，2.6B參數的Ouro模型在MMLU-Pro、BBH、MATH500等推理密集型基準測試中，表現優於8B參數的密集模型。這顯示了其在數據受限時代下作為一種新型擴展路徑的潛力。

推理能力

Ouro的性能提升源於其更高效的知識操控與推理能力。

團隊對Ouro的推理能力進行了全面評估，涵蓋通用知識、推理、數學、科學、編程和多語言任務。評估顯示，Ouro模型在參數效率上顯著優於傳統Transformer模型，尤其在需要多步驟推理和知識操作的任務中表現突出。其性能提升主要源於循環架構增強的知識操縱能力，而非單純增加知識容量。隨著循環步驟增加，模型學習效率提高，並能通過疊代精化提供推理軌跡。此外，模型的安全性也隨訓練步驟最佳化而提升。

安全增強

在HEx-PHI基準上顯著降低了有害性，且隨著循環步數（包括外推步）增加，模型的安全性進一步提升。疊代潛變數更新機制產生的是因果一致的推理過程，而非事後的合理化解釋。

未來展望

研究人員表示未來研究應著重提升性能外推能力和探索更複雜循環機制。該工作確立疊代潛在計算作為參數和數據外的第三個關鍵擴展維度，為模型能力的持續提升提供了新的思路。