DBRX是Databricks公司於2024年3月推出的開源大語言模型，參數規模達1320億。
DBRX，採用混合專家（MoE）架構，在語言理解、編程、數學和邏輯等領域的基準測試中超越了Llama 2-70B、Mixtral、Grok-1等主流開源模型，部分性能與閉源模型GPT-3.5相當。
其訓練耗時2個月，成本約1000萬美元，使用了超過3000塊NVIDIA H100 GPU。DBRX提供基礎版和微調版，支持研究及商業用途，企業可通過Databricks平台或開源社區訪問。
基本介紹
- 軟體平台：DBRX
- 開發商：Databricks
- 參數規模：1320億參數
- 架構類型：混合專家（MoE）
- 訓練成本：約1000萬美元
- 推理速度：比LLaMA 2-70B快2倍
- 訓練數據：12T文本和代碼
- 開源許可：支持商業用途
開發背景,技術架構,性能表現,套用場景,
開發背景
DBRX由Databricks收購的AI初創公司MosaicML團隊主導開發，首席架構師Jonathan Frankle曾擔任MosaicML的首席科學家。訓練歷時2個月（截止2024年3月），消耗3072塊NVIDIA H100 GPU，總成本控制在1000萬美元以內，效率較傳統方法提升50%。
技術架構
DBRX基於Transformer架構，採用細粒度混合專家（MoE）設計，包含16個專家網路，每次推理激活其中4個，實際使用參數為360億。其訓練數據涵蓋12TB的文本和代碼，通過MegaBlocks技術最佳化了推理效率和訓練速度。
性能表現
在2024年的多項基準測試中：
語言理解（MMLU）: 得分73.7%，超越Llama 2-70B（69.8%）；
編程（HumanEval）: 得分70.1%，高於Grok-1（63.2%）；
數學（GSM8K）: 得分66.9%，接近GPT-3.5水平。DBRX在編程任務中表現尤為突出，其代碼生成能力優於同類開源模型。
套用場景
企業套用: 支持在Databricks平台上部署，可結合私有數據訓練定製化模型；
開源社區: 模型權重及代碼發布於GitHub和Hugging Face。Databricks宣稱已對DBRX進行安全測試，以降低生成有害內容的風險。
