研發背景
Hunyuan-1.8B-Instruct是騰訊開源的高效大型語言模型系列“
混元”的一部分。該系列旨在適應各種計算環境的多樣化部署,從邊緣設備到高並發生產系統,通過先進的量化支持和超長上下文能力提供性能。
Hunyuan-1.8B-Instruct作為系列中的1.8B參數指令微調版本,設計用於支持高效推理和靈活套用場景。該模型於2025年7月30日開源。
發展歷程
2025年7月30日,Hunyuan-1.8B-Instruct等系列模型在
Hugging Face上正式開源。2025年8月5日,
騰訊開源了一系列混元Dense模型,包括預訓練和指令微調版本,參數規模分別為0.5B、1.8B、4B和7B,Hunyuan-1.8B-Instruct作為其中一員被發布。2026年2月10日,基於Hunyuan-1.8B-Instruct模型,通過2比特量化感知訓練技術,推出了參數規模更小、記憶體占用僅600MB的0.3B端側模型。
核心技術
Hunyuan-1.8B-Instruct採用分組查詢注意力(GQA)機制以實現高效推理,並支持FP8、INT4 GPTQ/AWQ等多種量化格式。
該模型在多個權威基準測試上進行了評估。在數學領域,其在AIME 2024、
AIME 2025和MATH基準上的得分分別為56.7、53.9和86。在科學領域,其在GPQA-Diamond和OlympiadBench上的得分分別為47.2和63.4。在編程領域,其在Livecodebench和Fullstackbench上的得分分別為31.5和42。在推理領域,其在BBH、DROP和ZebraLogic上的得分分別為64.6、76.7和74.6。在指令遵循領域,其在IF-Eval和SysBench上的得分分別為67.6和55.5。在代理領域,其在BFCL v3、τ-Bench、ComplexFuncBench和C3-Bench上的得分分別為58.3、18.2、22.3和54.6。在長上下文領域,其在PenguinScrolls、longbench-v2和FRAMES上的得分分別為73.1、33.2和55.6。
量化後模型在部分基準上保持了較好性能。在DROP基準上,其B16、FP8、Int4GPTQ和Int4AWQ版本的得分分別為76.7、75.1、73.0和71.7。在GPQA-Diamond基準上,得分分別為47.2、47.7、44.43和43.62。在OlympiadBench基準上,得分分別為63.4、62.5、60.9和61.7。在AIME 2024基準上,其B16和FP8版本的得分分別為56.7和55.17。
運營模式
Hunyuan-1.8B-Instruct已在
ModelScope和
Hugging Face平台開源,提供Pretrain和Instruct版本,開源協定為Apache License 2.0。用戶可通過transformers庫載入模型進行推理。官方提供了訓練數據格式示例和微調指南,例如使用LLaMA-Factory。模型支持FP8、Int4等多種量化格式,並可使用
TensorRT-LLM、
vLLM、SGLang等框架進行高效部署,支持創建OpenAI兼容的API端點。
重要事件
2025年7月30日,Hunyuan-1.8B-Instruct在
Hugging Face上開源。官方提供了Hunyuan-1.8B-Instruct的FP8量化版本。2025年8月15日,社區用戶snake7gun發布了Hunyuan-1.8B-Instruct-ov-int4(OpenVINO INT4量化版本)。