LongCat-Flash-Chat

LongCat-Flash-Chat(中文名:龍貓)是美團公司於2025年9月1日發布並開源的大語言模型,基於混合專家模型(MoE)架構構建,總參數量5600億,動態激活參數量18.6B至31.3B(平均27B)。

該模型通過Hugging Face、GitHub等平台開源並同步上線官網,支持網頁端體驗,提供聯網搜尋功能。其訓練數據融合萬億級餐飲行業數據,在國產加速卡上完成訓練。模型採用零計算專家機制與快捷連線架構(ScMoE),集成多頭潛在注意力機制(MLA),通過動態分配算力和擴展計算-通信重疊視窗提升效率。推理速度超過100 tokens/s,成本低至0.7美元/百萬token。經30項基準測試驗證,該模型在智慧型體任務(如工具調用、指令遵循)中達到SOTA水平,但編程、數學等通用能力仍有提升空間,MMLU得分89.71,CEval得分90.44,IFEval得分89.65。訓練過程中採用超參遷移、模型生長初始化及多階段管線最佳化策略,結合多智慧型體方法生成多樣化軌跡數據,確保在萬級加速卡上30天完成穩定訓練,系統可用率達98.48%。

美團為開發者提供微調工具鏈、行業模板及千萬級算力補貼,支持本地生活服務、智慧型客服等場景的垂直套用。美團推出全模態實時互動模型LongCat-Flash-Omni,其基礎架構延續了該系列的高效設計。

基本介紹

  • 外文名:LongCat-Flash-Chat
  • 類型:美團開源大模型
簡介,發展歷史,

簡介

LongCat-Flash採用創新性混合專家模型(Mixture-of-Experts, MoE)架構,總參數560B,激活參數18.6B-31.3B(平均 27B),實現計算效率與性能的雙重最佳化。據多項基準測試綜合評估,LongCat-Flash-Chat在僅激活少量參數的前提下,在智慧型體任務中具備突出優勢,同時推理速度超過100tps。

發展歷史

2025年9月1日,美團正式發布並開源大模型LongCat-Flash-Chat。

相關詞條

熱門詞條

聯絡我們