OpenBMB

OpenBMB是清華團隊支持發起的大規模預訓練語言模型庫與相關工具。可支持研究者和開發者靈活高效地在各類預訓練模型上實現和套用增量微調方法。

基本介紹

• 外文名：OpenBMB
• 發起團隊：清華團隊

歷史沿革

2018年以來，清華團隊堅持開展語言大模型創新研究，並堅持建設OpenBMB開源社區。

模型簡介

OpenBMB（Open Benchmark for Language Models）是一個開源社區，致力於構建大規模預訓練語言模型的基礎工具和流程。其主要目標是推動自然語言處理領域的研究和發展，促進模型創新和套用落地。OpenBMB的核心貢獻是提出了參數高效微調（Parameter-efficient Fine-tuning）的方法，這是一種用於針對特定任務和套用場景對大規模預訓練模型進行微調的技術。此外，OpenBMB還發布了一系列開源工具和代碼庫，幫助研究人員和開發者輕鬆地使用和擴展這些技術。OpenBMB的工作得到了學術界和工業界的廣泛關注和支持，已經在多個自然語言處理任務中取得了優異的表現。