伏羲傳語（FuxiTranyu）是天津大學自主研發的多語言大模型，於2024年8月正式發布並開源。該模型支持“一帶一路”沿線國家及地區的43種語言，涵蓋漢藏語系、印歐語系、亞非語系等10大語系，並支持C++、Java、C、C#、Python等16種程式語言。
模型包含基座模型FuxiTranyu-8B及指令微調模型FuxiTranyu-8B-SFT、FuxiTranyu-8B-DPO。研發團隊採用多語言預訓練數據均衡策略，從收集的28萬億詞元數據中使用6060億詞元進行訓練，覆蓋網際網路、書籍、論文、百科、代碼等多模態數據源。指令微調模型通過有監督微調和DPO技術增強對齊能力，提升多語言處理及指令遵循性能。在多項多語言基準測試中，伏羲傳語的指令微調模型在XCOPA上取得了最佳效果，並在m-Hellaswag、XWinograd和XStoryCloze數據集上，優於Llama-2-Chat-7B和Mistral-7B-Instruct-v0.1等多語言模型。
該模型由天津大學智慧型與計算學部熊德意教授團隊主導研發，在HuggingFace平台開源基座模型、微調模型及58個預訓練檢查點。預訓練數據收集、模型訓練及基準測評過程均採用完全自主開發模式。相關研究成果《FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data》被自然語言處理頂級會議EMNLP 2024收錄。
基本介紹
- 中文名：伏羲傳語
- 外文名：FuxiTranyu
- 研發單位：天津大學
- 發布時間：2024年8月
- 定義：天津大學自主研發的多語言大模型
發展歷史,功能特點,技術性能,學術成果,研發團隊,
發展歷史
2024年8月，天津大學自主研發的“伏羲傳語”多語言大模型正式發布並開源。
研發團隊將伏羲傳語基座模型、指令微調模型及58個預訓練檢查點在HuggingFace平台上開源。
功能特點
伏羲傳語大模型完全從頭開始訓練，並採用了多語言預訓練數據均衡策略以應對不同語言間的性能差異及低資源語言挑戰，研發團隊完成了大規模多語言數據的收集和處理、8B基座模型預訓練、指令對齊訓練及多語言基準測評全過程。預訓練數據來源涵蓋網際網路、書籍、論文、百科、代碼數據。此次預訓練使用了研發團隊收集的28萬億詞元數據中的6060億詞元數據。
除了基座模型FuxiTranyu-8B，伏羲傳語還推出了兩個指令微調模型：FuxiTranyu-8B-SFT及FuxiTranyu-8B-DPO。前者在多樣化的多語言指令數據集上進行了有監督指令微調，後者則在人類偏好數據集上通過DPO技術進一步增強了模型的對齊能力。相比基座模型，指令微調模型在多語言能力、對齊能力上得到了顯著的提升，能夠更好地遵循人類指令，生成的回覆更符合人類價值觀。
伏羲傳語大模型支持“一帶一路”沿線、亞洲及歐洲多個國家及地區的語言，合計43種，包括漢語、英語、阿拉伯語、葡萄牙語等富資源語言，以及孟加拉語、緬甸語、泰米爾語等低資源語言，覆蓋漢藏語系、印歐語系、亞非語系等10大語系。除此之外，伏羲傳語還支持C++、Java、C、C#、Python等16種程式語言。
技術性能
在多項多語言基準測試中，伏羲傳語展現出強大的競爭力。其基座模型FuxiTranyu-8B在廣泛使用的判別基準評測任務上，性能明顯優於BLOOM-7B和PolyLM-13B等多語言模型。指令微調模型則在XCOPA任務上取得了最佳效果，並在m-Hellaswag、XWinograd和XStoryCloze數據集上，顯著優於Llama-2-Chat-7B和Mistral-7B-Instruct-v0.1。在摘要生成任務上，伏羲傳語優於所有對比的基線模型。基於神經元和表征層面的可解釋性分析結果表明，相比於BLOOM，伏羲傳語具有更好的多語言均衡學習能力。
學術成果
該模型的相關研究成果《FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data》於2024年發表在EMNLP產業分軌（EMNLP 2024 Industry Track），論文DOI為10.18653/V1/2024.EMNLP-INDUSTRY.110。
