Qwen2-7B

模型架構

採用28層Transformer架構，Q/K/V隱層維度為3584，注意力頭數縮減至28個。引入滑動視窗注意力機制，視窗尺寸擴展至128K tokens實現長文本處理最佳化。使用SwiGLU激活函式和因果掩碼機制，模型維度提升至18,944增強表達能力。

分組查詢注意力(GQA)技術實現注意力頭的動態分組，在保持推理效率的同時降低顯存占用。通過YARN機制擴展模型的長文本處理上限，最長支持131,072 tokens的序列輸入。

在涵蓋30種語言的數據集上完成訓練，其中中文占比40%、英文35%、其他語言25%。代碼數據占比提升至8%，數學領域數據通過合成最佳化策略提升質量。採用改進後的數據過濾算法，清洗掉低質量的網頁內容和重複樣本。

訓練過程採用BF16混合精度，批量大小設定為6144，使用AdamW最佳化器進行參數更新。通過動態掩碼策略提升模型的語言建模能力，預訓練周期持續90天。

監督式微調(SFT)階段使用50萬條人工標註的指令數據，涵蓋問答、推理、創作等場景。直接偏好最佳化(DPO)階段採用自動化合成的偏好數據，通過拒絕採樣和執行反饋機制生成對比樣本。

微調支持LoRA技術實現參數高效適配，典型配置包括秩參數r=8、縮放因子alpha=32。在百度智慧型雲千帆平台提供可視化微調界面，支持學習率調度和混合精度訓練。

使用LLaMA-Factory框架可在單台A100伺服器完成微調，推薦配置包括：

數據處理需構建instruction-input-output三元組，典型格式包含：
json
{
"instruction": "以甄嬛體風格回答問題",
"input": "今天的天氣怎么樣？",
"output": "今兒個這天兒倒是極好的..."
}

支持通過modelscope庫下載預訓練權重，檔案大小約15GB。