Tiny(文心大模型系列的輕量版模型)

Tiny是2024年4月16日發布的一款文心大模型系列的輕量版模型，主要套用場景是智慧型客服、設備端推理、工業質檢等需要快速回響的領域，使用了壓縮蒸餾技術，部署成本較開源模型降低99%，推理速度提升105倍。

基本介紹

• 所屬系列：文心大模型系列
• 技術特點：壓縮蒸餾技術
• 首次發布時間：2024年4月16日 
• 套用場景：適合解決確定場景的問題 
• 訓練效率：提升至5.1倍（2024年4月） 
• 開發工具：ModelBuilder 

技術特點

採用大模型壓縮蒸餾技術，通過文心4.0降維裁剪生成基礎模型後再進行數據訓練，相比從頭訓練小模型，在效果上可媲美原大模型。其部署成本較開源模型降低99%，推理速度提升105倍，支持訓練調優與部署調用。

版本疊代

• 2024年4月：作為文心大模型4.0工具版組件首次發布，同期推出Speed、Lite等同系列輕量模型
• 2024年11月：在Create2024大會上被納入文心大模型系列，與ERNIE Speed、Lite等形成完整技術矩陣
• 2025年5月：升級為ERNIE Tiny，成為百度自研的超高性能大語言模型，精調成本保持系列最低水平

套用場景

主要面向智慧型客服、設備端推理、工業質檢等需要快速回響的領域。其輕量化特性支持訓練調優與部署調用，部署與精調成本在文心繫列模型中最低。2024年結合ModelBuilder工具，開發者可通過可視化界面完成Tiny模型的定製訓練。

核心技術

採用多任務知識注入技術，通過下游無關蒸餾框架實現知識無損壓縮。其持續學習架構支持線上參數更新，在2025年發布的ERNIE 3.0-Tiny版本中，在多箇中英文數據集上取得領先效果。該技術被列為文心ERNIE三大輕量化核心技術之一，與ERNIE-NAS、ERNIE-Distill構成完整技術體系。