Falcon H1是阿布達比技術創新研究院(TII)於2025年5月在“阿聯製造”大會上發布的人工智慧大模型成果,屬於該機構繼2023年開源Falcon模型後針對阿拉伯語最佳化與低算力市場的戰略舉措之一,旨在推動AI技術普惠化。2026年1月,TII基於Falcon-H1-7B發布了專注於推理最佳化的新模型Falcon H1R 7B。
該模型提供從500M到34B參數的多種版本,適配低算力環境和邊緣計算設備,通過輕量化設計降低使用門檻。Falcon H1R 7B採用Transformer與Mamba的混合架構,在AIME-24測試中得分達88.1%,並在Hugging Face平台以開源模型形式發布。
基本介紹
- 軟體名稱:Falcon H1
- 上線時間:2025年5月
- 開發商:阿布達比技術創新研究院
- 軟體授權:Falcon-LLM許可證
發展歷程,主要功能,核心技術,重要事件,
發展歷程
2025年5月22日,阿布達比技術創新研究院(TII)在“阿聯製造”大會上發布人工智慧大模型新成果:Falcon H1。該模型聚焦模型的通用性與低算力適配,覆蓋從500M到34B參數規模的多個版本,旨在降低使用門檻,為算力有限的場景提供可行的AI方案,開拓了本地化和輕量化模型領域。
2026年1月5日,阿布達比技術創新研究院(TII)發布了基於Falcon H1系列的新模型Falcon H1R 7B。該模型在嚴格維持70億參數規模的基礎上,專注於推理能力的最佳化,採用了Transformer與Mamba2的混合架構,並在多項數學、代碼推理基準測試中取得了優異成績。
主要功能
Falcon H1,專注於提升模型的通用性和適配低算力環境的能力。該模型提供從500M 到34B 參數規模的多個版本,推動AI技術普惠化,以滿足不同用戶的需求。
Falcon H1的開發目標是降低使用門檻,為算力有限的場景提供可行的AI方案,設計重點在於平衡計算效率與部署的靈活性。
核心技術
Falcon H1系列是阿布達比技術創新研究院面向低算力套用環境開發的人工智慧大模型,提供從5億至340億參數的不同版本,設計重點在於平衡計算效率與部署的靈活性。該系列的最新成果Falcon H1R 7B是一款專注於推理最佳化的70億參數開源模型。
Falcon H1R 7B採用Transformer與Mamba2的混合架構,是一個Causal Decoder-only架構。其中,Transformer Layers利用注意力機制處理複雜的依賴關係;Mamba2 Blocks利用狀態空間模型實現線性時間序列建模。這種設計支持256k超長上下文。
模型的訓練過程分為兩個階段。第一階段為冷啟動監督微調,以Falcon-H1-7B為基座,聚焦長程邏輯推演、數學建模、程式生成及自然科學等高難度任務進行定向強化。第二階段為基於GRPO的強化學習,引入基於推理路徑正確性的獎勵機制以提升輸出的邏輯嚴謹性。
模型集成了創新的推理最佳化技術。其一是DeepConf框架,這是一種輕量級的過濾機制,利用Next-token confidence scores評估軌跡質量。其二是Test-Time Scaling,通過增加推理時的計算量來換取更高的準確率。
在多項基準測試中,Falcon H1R 7B表現優異。數學推理方面,在AIME-24測試中得分達88.1%;代碼與智慧型體任務方面,在LiveCodeBench v6測試中綜合得分為68.6%;通用推理能力在MMLU-Pro與GPQA等評測中性能逼近甚至反超更大參數量模型。效率方面,其推理吞吐量突出,在典型batch size設定下,單GPU推理速率可達約1500 tokens/s。
該模型已在Hugging Face平台以開源形式發布,遵循Falcon-LLM許可證,提供完整模型權重及多種量化格式。
重要事件
2025年5月22日,阿布達比技術創新研究院(TII)在“阿聯製造”大會上發布人工智慧大模型Falcon H1。
2026年1月5日,阿布達比先進技術研究委員會(ATRC)下屬的技術創新研究所(TII)發布開源大語言模型Falcon H1R 7B。
