Code Llama 70B

Code Llama 70B是由Meta公司於2024年1月開源的大型參數模型，旨在高效生成和調試多種程式語言代碼。該模型基於Llama 2架構構建，提供原版、Instruct版和Python版三個版本，在HumanEval基準測試中以53%準確率超過GPT-3.5（48.1%），支持免費商用。作為Code Llama家族中體量最大、性能最優的模型，其成果將被整合至Meta後續的Llama 3開發中。

基本介紹

• 參數規模：700億參數 
• 發布時間：2024年1月    
• 基準測試：53%（HumanEval）    
• 程式語言：Python/C++/Java等 
• 許可協定：免費商用  
• 模型版本：3個   

模型簡介

Code Llama 70B是Meta公司基於Llama 2架構開發的開原始碼生成模型，於2024年1月29日正式發布。作為Code Llama系列的最新版本，該模型擁有700億參數，支持代碼字元串生成、調試及編程輔助，適用於Python、C++、Java等多種語言。

技術特點

• 在HumanEval基準測試中，Code Llama 70B準確率達53%，超過GPT-3.5的48.1%，接近GPT-4的67%。
• 提供原版、Instruct版（指令調優）和Python版（專精Python）三個版本，均保持免費商用許可協定。
• 相較於前代模型，Code Llama 70B推理能力顯著增強，可處理更複雜的代碼生成任務。

版本發布與後續計畫

• 2023年8月，Meta首次推出基於Llama 2的Code Llama模型；2024年1月發布的Code Llama 70B成為該系列參數規模最大、性能最強的疊代版本。
• Meta計畫將Code Llama 70B的技術成果套用於正在訓練的Llama 3模型，後者預計具備更強的代碼生成和推理能力。
• 截至2024年底，Meta預計將擁有相當於近60萬塊H100的算力資源，以支持後續AI模型開發。

團隊與組織結構調整

為提升AI研究優先權，Meta將基礎研究團隊FAIR併入產品部門，形成統一的AI開發生態。CEO馬克·扎克伯格強調，代碼生成與編輯將成為大模型核心套用場景之一。