OLMo

OLMo（Open Language Model）是由艾倫人工智慧研究所（AI2）聯合AMD、芬蘭LUMI超算等機構共同研發的開放語言模型框架，其核心特徵為完整開源，涵蓋訓練數據、代碼、模型參數及評估工具鏈等全流程資源。該框架提供多種參數規模模型（如7B、1B），採用改進的Transformer架構與SwiGLU激活函式等技術，在生成任務中性能接近Llama 2等主流模型。OLMo通過Hugging Face等平台公開數百個訓練檢查點，支持學術界復現與深入研究，推動語言模型透明化發展。

基本介紹

• 開發者：艾倫人工智慧研究所（AI2） 
• 發布時間：2024年2月 
• 參數規模：7B、1B等 
• 訓練數據：至少2萬億token
• 技術架構：改進Transformer（無偏置項、非參數層歸一化） 
• 合作機構：AMD、芬蘭LUMI超算、艾倫人工智慧研究所（AI2） 

技術架構

• 採用純Decoder結構的Transformer架構，移除偏置項以提升訓練穩定性；
• 使用非參數化層歸一化方案，平衡訓練速度與安全性；
• 集成SwiGLU激活函式與旋轉位置嵌入（RoPE）技術，與LLaMA等主流模型設計一致；
• 基於改進版BPE分詞器，減少個人信息泄露風險；
• 支持多節點分散式訓練，適配PyTorch框架與AMD GPU集群。

開源生態

• 完整公開Dolma數據集（含3萬億token）及其構建工具WIMBD；
• 提供訓練代碼、評估工具（Catwalk、Paloma）、數百個中間檢查點及詳細訓練日誌；
• 通過Hugging Face與GitHub發布模型權重與微調腳本，支持量化推理與二次開發；
• 配套文檔覆蓋安裝部署、配置修改與本地訓練環境適配。

模型版本

• OLMo 7B：首批發布的7B參數模型包含四個變體（不同架構、最佳化器與硬體配置），基於2萬億token訓練；
• OLMo 1B：輕量級模型，推理成本較低，適用於資源受限場景；
• OLMoE系列（2024-2025年）：基於混合專家架構的擴展模型，總參數6.9B（活躍1.3B），在MMLU等基準測試中表現接近同類開放模型。

性能對比

• 在TruthfulQA等生成任務中超過Llama 2 7B；
• 在MMLU問答任務上稍遜於Llama 2 13B；
• OLMoE-1B-7B推理效率與1B密集模型相當，指令調優版在數學與代碼任務中優於Llama2-13B-Chat。

套用場景

• 文本生成與對話系統：支持開放域文本生成與上下文理解；
• 學術研究：提供消融實驗與訓練過程分析工具，用於探索預訓練數據影響、訓練方法最佳化等；
• 商業部署：適配AMD Ryzen AI PC設備，支持本地化AI功能開發。

未來發展

• 計畫擴展至更大參數規模（如100B）與多模態版本；
• 推出指令調優模型與領域適配工具鏈；
• 採用混合專家架構（OLMoE），提升任務適應性。