Falcon是由阿聯技術創新研究院(TII)開發的開源大語言模型系列,於2023年3月首次推出。該系列由人工智慧和數字科學研究中心(AIDRC)主導開發,包含多種參數規模的模型版本,採用RefinedWeb數據集進行訓練,支持多語言處理與視覺語言轉換功能。
2023年9月推出400億參數的Falcon40B模型,該版本在Hugging Face開源模型排行榜登頂,支持研究與商用。2026年1月發布Falcon H1R 7B模型,參數規模為70億,專攻推理任務性能最佳化。2024年5月發布包含110億參數的Falcon 2系列,新增視覺語言模型(VLM)版本,支持圖像到文本轉換。Falcon 180B模型以1800億參數規模在3.5萬億token數據集訓練,位列開源模型性能榜首。該系列通過AI71公司套用於教育、醫療等領域,並遵循包含商業限制條款的TII Falcon LLM許可證開源。
基本介紹
- 外文名:Falcon
- 研發機構:TII
發展歷史
系列產品
Falcon40B | 擁有400億個參數,使用1萬億個通證進行訓練。 |
|---|---|
Falcon H1R 7B | 該模型70億參數,能在多項推理任務中表現優異,可挑戰多款更大規模開源模型,顯著降低先進AI套用門檻。 |
