ERNIE Speed

ERNIE Speed是百度智慧型雲於2024年3月21日發布的輕量級大語言模型，參數量級為百億級別，支持最高128K上下文長度的處理能力。作為百度千帆大模型平台的重要組成部分，該模型可通過少量數據微調實現特定場景下的高效套用，在保證推理性能的同時適配低算力AI加速卡。2024年5月百度宣布該模型全面免費，旨在降低企業智慧型化轉型的試錯成本。

基本介紹

• 開發單位：百度智慧型雲
• 發布時間：2024年3月21日
• 參數規模：百億級別 
• 上下文長度：最高128K  
• 適用場景：智慧型客服/搜尋引擎 
• 免費時間：2024年5月起 

技術特性

1. 高效精調能力：支持通過少量數據微調，在醫療、金融等領域快速實現垂直場景適配，訓練時間較傳統模型縮短50%以上
2. 推理性能最佳化：搭載低算力AI加速卡可實現5倍於千億參數模型的推理速度，延遲控制在毫秒級
3. 長上下文處理：128K的上下文視窗支持處理複雜知識問答任務，文本生成連貫性可追平甚至超過旗艦級大模型

套用場景

• 智慧型客服：已在超過150家企業部署，回響速度提升40%的同時降低30%運維成本
• 醫療輔助：杭州全診醫學通過精調ERNIE Speed模型，病歷生成準確度和日均接診量得到提升
• 工業場景：適配邊緣計算設備，在質檢、設備運維等場景實現端側AI部署

部署策略

2024年5月免費政策實施後，企業可通過千帆平台直接調用API接口。百度提供配套的精調指南，支持開發者快速完成知識庫接入、意圖識別等功能的定製開發。