Orca 2模型

Orca 2是微軟研究院於2023年11月發布的開源語言模型，專注於提升小型語言模型的推理能力。該模型基於Llama 2架構，通過定製化合成數據進行微調，提出推理策略自適應機制，使7B和13B參數規模的模型在多任務場景中達到接近5-10倍參數規模大型模型的性能水平。

模型採用指令調優與解釋調優結合的訓練方法，構建包含系統指令、用戶提示和答案的三元組數據集。其創新性引入Cautious Reasoning框架，集成五種動態推理策略，在15個基準測試中展現出卓越的複雜問題解決能力。研究團隊已公開模型權重，推動小型語言模型領域的技術探索。

基本介紹

• 開發者：微軟研究院
• 發布時間：2023年11月
• 參數規模：7B/13B
• 訓練方法：合成數據微調
• 技術特點：推理策略自適應
• 開源情況：開放模型權重

技術特點

通過擴展合成數據集訓練，模型掌握逐步處理、回憶生成等五種推理技術，支持動態選擇最優策略解決不同任務。針對零樣本場景最佳化，突破傳統小型模型依賴模仿學習的路徑限制，實現與大型模型相當的泛化能力。

訓練方法

• 採用指令調優與解釋調優結合範式，提取GPT-4等模型的"慢思考"示範信號構建訓練數據集
• 引入提示擦除技術，隱藏教師模型的原始提示細節，迫使模型自主生成解決方案
• 訓練數據包含FLAN-v2子集（1913個任務）及ChatGPT/GPT-4生成的110萬條樣本

性能評估

在2023年的基準測試中覆蓋AGIEval、BBH、GSM8K等15個數據集：

• 語言理解（MMLU）：13B版本與70B級模型表現相當
• 數學推理（GSM8K）：相對同規模模型提升47.54%
• 常識判斷（HellaSwag）：超越5倍參數規模的大型模型
  測試包含36000個獨特提示，涉及100餘項細分任務

開源與影響

2023年11月發布的Orca-2-7B和Orca-2-13B兩個版本均開放模型權重，允許研究者深入探索：

• 小型模型的發展評估體系最佳化
• 推理能力與功能對齊的改進方向
• 安全過濾機制與RLHF技術的結合套用
  研究團隊強調需結合安全機制應對數據偏見和幻覺現象，為後續最佳化保留技術空間