Meta-Llama-3.1-8B-Instruct是Meta公司於2024年7月23日發布的大語言模型，為Llama 3.1系列的8B參數指令微調版本。該模型屬於Llama 3.1多語言大語言模型系列，該系列包含8B、70B和405B三種參數規模的基礎版與指令調優版。所有版本均支持128K token的上下文長度和英語、德語、法語、義大利語、葡萄牙語、印地語、西班牙語、泰語共8種語言。
基本介紹
- 外文名：Llama-3.1-8B-Instruct
模型基本信息,技術架構與訓練,功能特性,部署與使用,性能評估,影響與評價,
模型基本信息
Meta-Llama-3.1-8B-Instruct是由Meta公司開發並於2024年7月23日發布的指令微調生成式大型語言模型（LLM）。該模型是基於離線數據集訓練的靜態模型，採用Llama 3.1社區許可證（自定義商業許可證）授權。其預期用途是面向商業和研究領域，專為多語言環境中的助手式對話套用進行最佳化。
技術架構與訓練
Llama-3.1-8B-Instruct是Meta公司於2024年7月23日發布的Llama 3.1系列語言模型中的一個指令微調版本。它擁有80億參數，支持128K令牌的上下文長度，並針對英語、德語、法語、義大利語、葡萄牙語、印地語、西班牙語和泰語這8種語言的對話場景進行了最佳化。
該模型的基礎架構基於最佳化的Transformer架構，是一個自回歸語言模型。為了使其更好地遵循指令，該版本在基礎預訓練模型之上，採用了監督微調（SFT）和基於人類反饋的強化學習（RLHF）進行指令調優，以符合人類對回答有幫助性和安全性的偏好。
模型的訓練數據包括兩部分。預訓練階段使用了來自公開線上來源的約15萬億（15T+）令牌。指令微調階段的數據則包括公開可用的指令數據集以及超過2500萬個合成生成的示例。其知識截止日期為2023年12月。
整個Llama 3.1系列模型的訓練總計消耗了39.3百萬GPU小時的計算資源，其中8B模型單獨消耗了約1.46百萬GPU小時。基於位置的溫室氣體排放估計，整個系列總排放約11,390噸CO2當量，其中8B模型單獨貢獻了約420噸CO2eq。
作為指令微調模型，其典型的運行要求是在FP16精度下需要約16GB的顯存，適合在消費級GPU（如NVIDIA A10G或L4）上部署推理，並支持量化技術（如8位或4位）以進一步降低資源消耗。
功能特性
Llama-3.1-8B-Instruct支持英語、德語、法語、義大利語、葡萄牙語、印地語、西班牙語和泰語共8種語言的文本輸入與輸出。該模型支持128K token的上下文長度。其技術架構採用了分組查詢注意力（GQA）技術。作為指令微調模型，它在工具調用方面進行了最佳化，適用於智慧型體用例，內置搜尋、使用Wolfram Alpha進行數學推理等工具，並可擴展為自定義JSON功能。同時，它支持一種具有4個角色的特定對話格式。
此外，該純文本模型的能力也被套用於後續的多模態版本中，例如Llama 3.2 Vision模型的文本部分即基於凍結的Llama 3.1 8B/70B文本模型構建。
部署與使用
Meta-Llama-3.1-8B-Instruct推薦在1x NVIDIA A10G或L4 GPU上運行。其推理時在FP16精度下約需16GBVRAM，適合在消費者級GPU上部署。該模型支持8位或4位量化以進一步減少記憶體消耗。
從transformers >= 4.43.0開始，可以通過Hugging Face Transformers庫的pipeline或利用AutoTokenzier和AutoModelForCausalLM類配合generate()函式來載入該模型並進行對話生成。社區提供了相應的代碼示例，可通過snapshot_download等方式下載模型檔案。
該模型支持進行監督微調（SFT），可使用QLoRA等參數高效微調方法，在公開指令數據集如OpenAssistant上進行微調以適應特定任務。相關工作包括準備數據集、配置Lora參數進行微調，之後合併模型並進行推理測試。
Hugging Face平台提供了該模型的API端點以及Gradio驅動的線上演示空間（Space）。社區亦有採用FastAPI框架構建本地API服務的部署案例，以載入模型提供對話生成服務。
性能評估
Llama-3.1-8B-Instruct在常見的行業基準測試中優於許多現有的開源和閉源聊天模型。
在指令跟隨能力方面，該模型在MMLU大規模多任務語言理解基準上得分為69.4，其思維鏈推理CoT得分為73.0，在IFEval指令跟隨評估中得分為80.4，在HumanEval代碼生成基準上得分為72.6，在GSM-8K數學推理基準上得分為84.5，在ARC-C常識推理基準上得分為83.4，在MBPP++ Python編程基準上得分為72.8。
在多語言能力方面，模型在非英語的MMLU測試中也展現出較強的理解能力，其中葡萄牙語得分為62.12，西班牙語為62.45，義大利語為61.63，法語為62.34，德語為60.59，印地語為50.88，泰語為50.32。
在安全與責任方面，模型的開發遵循了管理信任與安全風險的三管齊下策略。開發過程進行了定期的紅隊演練，以通過對抗性提示發現潛在風險，並特别致力於減輕CBRNE（化學、生物、放射性、核及爆炸物）輔助風險、兒童安全、網路攻擊助力等關鍵風險領域。模型的核心價值觀強調開放性、包容性和有益性。
