ERNIE Tiny

ERNIE Tiny是百度智慧型雲於2024年3月21日發布的輕量級大模型，定位為參數量最小的輕量級基座模型。該模型專為高並發、低延遲場景設計，如檢索、推薦和意圖識別，通過搭載低算力AI加速卡實現極致成本與延遲最佳化。在業務場景精調後，其對話輪次較ERNIE 3.5提升3.5%，成本降低32%。作為百度智慧型雲千帆平台的產品，ERNIE Tiny助力企業平衡模型效果與落地成本。

基本介紹

• 發布時間：2024年3月21日
• 開發公司：百度智慧型雲
• 模型類型：輕量級大語言模型
• 參數量級：三款輕量級中最小的
• 適用場景：檢索、推薦、意圖識別
• 低算力適配：支持AI加速卡推理

發布背景

2024年3月21日，百度智慧型雲在千帆產品發布會上推出三款輕量級大模型，ERNIE Tiny作為其中參數量最小的模型首次亮相。此舉旨在滿足企業對大模型“效價比”的需求，降低AI套用門檻。

技術特性

• 輕量化設計：相比千億參數大模型，ERNIE Tiny通過精簡參數量提升推理速度，同時保持核心功能完整性
• 低成本適配：支持搭載低算力AI加速卡，滿足極致低成本和低延遲套用的需求
• 性能平衡：在模型效果與推理性能間取得最佳化，特定場景精調後對話輪次增長3.5%，成本下降32%

套用場景

主要面向三類場景：

1. 高並發業務：如實時推薦系統，需快速回響用戶行為
2. 低延遲需求：包括意圖識別、信息檢索等即時反饋場景
3. 邊緣計算：適配物聯網設備等低算力環境

企業合作

截至2024年5月，百度智慧型雲通過文心大模型實現生成式AI收入占比6.9%，ERNIE Tiny作為輕量化解決方案，已嵌入千帆平台生態，幫助企業降低模型精調成本並縮短部署周期。