Llama 2 13B

Llama 213B是由Meta開發並公開發布的一款大型語言模型，屬於Llama 2系列，具有130億參數規模。該模型在2023年1月至7月間訓練完成，使用來自公開源的2萬億個標記進行預訓練。模型提供預訓練及監督微調(SFT)和結合人類反饋的強化學習(RLHF)的對話微調版本，並採用自定義商業許可。其在代碼、常識推理等多項基準測試中進行了評估。為便於部署，存在GGML、GPTQ等多種量化格式，以最佳化在消費級硬體上的運行效率。該模型已套用於教育、客戶服務、內容創作等領域。

研發背景

Llama 2 13B是由Meta公司開發並公開發布的大型語言模型，屬於Llama 2系列，該系列還包括70億和700億參數規模的模型。該模型於2023年7月隨Llama 2系列一同發布，其訓練周期覆蓋2023年1月至2023年7月。

Llama 2 13B是一個參數規模為130億的自回歸語言模型，基於最佳化的變換器架構。模型在來自公開源的2萬億個標記上進行了預訓練，其微調數據包括公開指令數據集和超過一百萬人 工標註樣本。預訓練數據的截止日期為2022年9月，但某些微調數據更近，直至2023年7月。

模型旨在用於英語環境下的商業和研究用途，並採用了自定義的商業許可。

發展歷程

Llama 2 13B是Meta Llama 2系列大型語言模型中的130億參數版本。該模型於2023年7月隨Llama 2系列一同公開發布。

Llama 2 13B的訓練周期覆蓋了2023年1月至2023年7月。這是一個基於離線數據集訓練的靜態模型。

其預訓練數據的截止日期為2022年9月，但部分微調數據更新至2023年7月。

核心技術

Llama 2 13B是一個基於最佳化的變換器架構的自回歸語言模型。其微調版本通過監督微調(SFT)及結合人類反饋的強化學習(RLHF)方法進行對齊最佳化，以貼合人類對於有用性和安全性的期望。

該模型在來自公開可獲取資源的2萬億個標記的數據上進行了預訓練。微調數據包括公開可獲得的指令數據集，以及超過一百萬個人工標註的新樣本。預訓練數據的截止日期為2022年9月，部分微調數據更新至2023年7月。

預訓練總計消耗了A100-80GB(功耗350-400W)類型的硬體368，640 GPU小時，碳排放量約62.44 tCO2eq。

在標準學術基準測試中，Llama 2 13B在代碼、常識推理、世界知識、閱讀理解、數學等方面有具體分數表現。

在資源受限的情況下，可採用如LoRA（低秩適配）等參數高效微調技術對模型進行適配。

運營模式

Llama 2 13B採用Meta提供的自定義商業許可，該許可允許模型用於商業和研究用途。

模型支持通過GGML、GPTQ等多種量化格式（如q2_K、q3_K_M、q4_K_M等）進行部署。這些量化技術顯著降低了資源需求，使得模型能夠在消費級硬體或資源受限環境中高效運行。社區提供了詳細的本地部署指南，涵蓋Linux與Windows系統的環境搭建、核心參數最佳化（如CPU執行緒數、上下文視窗大小），以及基於text-generation-webui的圖形界面部署和構建RESTful API服務等方法。

Llama 2 13B擁有活躍的社區支持資源，包括官方文檔、教程以及社區論壇（如TheBloke's Discord server）。相關的開源項目倉庫（如AWQ、GPTQ、GGUF模型倉庫）也為用戶提供了便利。用戶可以通過Pull Request等方式為項目貢獻代碼，並參與線上或線下的學習交流活動。

重要事件

2023年7月，Meta正式發布Llama 2 13B模型。發布初期，加州大學伯克利分校的第三方評測（2023年7月）顯示，Llama 2 13B的聊天性能已可與同期領先的開源模型（如Vicuna、WizardLM）相媲美，但在非英語任務上表現一般。2024年2月，谷歌發布開源模型Gemma，其7B參數版本在多項基準測試（如MMLU、HellaSwag、代碼能力等）中表現超越Llama 2 13B，對Llama 2的開源模型地位構成挑戰。模型發布後，社區持續推出了多種量化版本（如GGML格式的Q2_K至Q8_K等），以最佳化模型在消費級硬體上的推理效率和記憶體占用。