GLM-130B是由清華大學知識工程實驗室（KEG）與北京智譜華章科技股份有限公司（智譜AI）聯合研發，於2022年8月開源的雙語（中英文）預訓練大語言模型，擁有1300億參數，其架構基於通用語言模型（GLM）。模型旨在支持在一台A100或V100伺服器上進行千億參數規模的推理，截至2022年7月3日已完成4000億個雙語文本標記的訓練。其核心架構包含70層Transformer，並採用了自回歸空白填充、旋轉位置編碼（RoPE）等多項關鍵技術。
GLM-130B的發展始於2021年12月清華大學知識工程實驗室的內部討論。2022年3月，項目團隊在包括昇騰910、海光DCU在內的多個硬體平台上測試了GLM千億預訓練算法。2022年4月26日獲得智譜AI的計算資源贊助，並於5月6日正式啟動訓練，最終於2022年8月4日聯合正式發布並開源。在2022年11月史丹福大學大模型中心對全球30個主流大模型的評測中，GLM-130B是亞洲唯一入選的模型。截至2023年，已有超過70個國家、1000餘家研究機構申請使用GLM-130B。基於GLM-130B，團隊在2023年2月推出了ChatGLM對話模型，並進一步衍生出代碼生成模型CodeGeeX。2023年，基於GLM-130B構建的“數字中醫大模型”入選北京市首批行業大模型典型套用案例。
基本介紹
- 參數規模：1300億參數
- 發布時間：2022年8月
- 架構：通用語言模型（GLM）
- 模型類型：雙語預訓練大語言模型
- 研發機構：北京智譜華章科技股份有限公司
清華大學知識工程實驗室 - 訓練數據：4000億個雙語文本標記
公司發展,模型概況,技術架構,發展歷程,性能表現,影響與評價,套用案例,核心團隊,
公司發展
智譜AI於2026年1月8日在港交所上市。截至2026年1月13日，其股價在上市後5個交易日內累計上漲51%，總市值曾達到千億港元。上市前，該公司共完成8輪融資，累計規模超過83億元人民幣。
模型概況
GLM-130B是由北京智譜華章科技股份有限公司（智譜AI）與清華大學知識工程實驗室（KEG）等於2022年聯合發布並開源的首個千億參數（1300億）規模雙語（中文和英文）預訓練大語言模型，模型架構採用通用語言模型（GLM）。它旨在支持在單台多GPU伺服器（如A100或V100）上對千億參數模型進行推理。截至2022年7月3日，已完成4000億個雙語文本標識符的訓練（中文和英文各2000億）。
技術架構
GLM-130B是一個基於通用語言模型（GLM）算法架構的雙語預訓練模型，擁有1300億參數。其核心架構包含70層Transformer，隱層維度為12,288，最大序列長度為2,048。模型採用自回歸空白填充作為主要預訓練目標，使用了兩種不同的掩碼標識符（[MASK]和[gMASK]），並融合了旋轉位置編碼（RoPE）、DeepNorm層歸一化、高斯誤差GLU（GeGLU）等多項關鍵技術。模型使用一個基於icetk的、包含150,000個標識符的雙語分詞器。
GLM-130B的預訓練過程分為兩部分：第一部分是自監督的預訓練；第二部分是在T0++和DeepStruct中70個不同數據集的抽樣子集上進行多任務指令預訓練。在訓練過程中，團隊探索並實踐了一系列穩定訓練方法，涉及數據預處理、正則化、異常值處理、隨機化、交叉驗證和集成學習等技術。未來技術方向包括對GLM-130B的進一步訓練、INT8量化、基於混合專家（MoE）方法的規模擴展以及參數高效的P-Tuning。
發展歷程
GLM-130B的發展始於2021年12月清華大學知識工程實驗室（KEG）的一次內部頭腦風暴會，會上提出了訓練並開源一個高精度雙語預訓練模型的目標。2022年初，項目獲得了一個GPU服務商的小型贊助，並開始了首次測試運行，但面臨著千億參數模型訓練的技術挑戰。同年3月，項目團隊成功在包括昇騰910、海光DCU、NVIDIA和神威在內的多個硬體平台上測試並運行了GLM千億預訓練算法。2022年4月26日，項目獲得了來自智譜AI（Zhipu.AI）的計算資源贊助。隨後於2022年5月6日，在智譜AI支持的96台A100（40G*8）伺服器上正式啟動了GLM-130B的大規模訓練。訓練過程持續了約兩個月，截至2022年7月3日，模型完成了對4000億個文本標識符（中英文各2000億）的訓練。最終，GLM-130B於2022年8月4日由清華大學與智譜AI聯合正式發布並開源。
性能表現
GLM-130B在英文語言理解基準測試中展現出高精度，在LAMBADA數據集上準確率達到80.2%，優於GPT-3 175B、OPT-175B和BLOOM-176B，在MMLU基準測試上略優於GPT-3 175B。在中文語言理解基準測試中，GLM-130B在7個零樣本CLUE數據集和5個零樣本FewCLUE數據集上的性能明顯優於ERNIE TITAN 3.0 260B。
GLM-130B支持用一台A100伺服器使用SAT和FasterTransformer進行快速推理，提速最高可達2.5倍。所有結果均可通過開原始碼和模型參數輕鬆復現。GLM-130B支持在NVIDIA、Hygon DCU、Ascend 910和Sunway處理器上進行訓練與推理。
通過BMInf技術，能夠突破顯存牆，支持將GLM-130B全參數運行在顯存較小的主流顯示卡與伺服器上，如8卡32G V100伺服器。
影響與評價
2022年11月，史丹福大學大模型中心對全球30個主流大模型進行了評測，GLM-130B是亞洲唯一入選的模型，其準確性等多項指標與OpenAI、谷歌大腦、微軟和英偉達等公司的大模型表現相近。截至2023年，已有超過70個國家、1000餘家研究機構申請使用GLM-130B，其中包括Google、Microsoft、Stanford、MIT等機構及國內多家高校與企業。GLM-130B是當時國內少數在多項指標上接近國際頂尖水平的模型之一，其開源發布受到了國內業界的關注。GLM-130B的發布體現了智譜AI將GLM體系套用於預訓練大語言模型的研究方向，其採用了開源與MaaS（模型即服務）模式。
套用案例
GLM-130B作為開源的雙語千億基座模型，其技術能力在下游衍生套用開發與具體行業落地中得到了體現。
在行業套用方面，基於GLM-130B構建的“數字中醫大模型”於2023年入選北京市首批行業大模型典型套用案例。該套用面向中醫領域名醫經驗挖掘整理需求，探索高危肺結節人工智慧臨床診療和臨床評價研究等解決方案，初步實現了醫療垂直領域的智慧型問答及輔助診療功能。
核心團隊
GLM-130B的研發由清華大學計算機系知識工程實驗室（KEG）主導，項目總負責人為清華大學計算機系唐傑教授。學生負責人包括曾奧涵、劉瀟等。清華大學計算機系東昱曉亦在公開報告中詳細介紹了模型的構建過程。
該模型由清華大學與北京智譜華章科技股份有限公司（智譜AI）聯合研發與發布。智譜AI的CEO張鵬主導了公司的技術研發與商業化路徑。技術貢獻主要來自清華大學計算機系知識工程實驗室（KEG）、PACMAN實驗室、自然語言處理實驗室（BMInf）以及智譜AI的研發團隊。項目的核心計算資源由智譜AI贊助。
