PowerInfer-2.0

PowerInfer-2.0是上海交大IPADS實驗室於2024年6月推出的大模型推理引擎，專為移動端設備設計，可在記憶體有限的智慧型手機上實現高效推理。該引擎使得Mixtral 47B大模型在手機端達到11 tokens/s的推理速度，與熱門開源框架llama.cpp相比，平均加速比達25倍，最高可達29倍。其技術論文已通過arXiv平台公開發布。

基本介紹

• 開發單位：上海交大IPADS實驗室
• 推出時間：2024年6月
• 適用場景：智慧型手機端
• 加速比：平均25倍  
• 最高速度：11 tokens/s   
• 論文狀態：arXiv公開 

技術特性

通過動態記憶體管理與計算最佳化算法，可在智慧型手機8GB記憶體條件下流暢運行470億參數的Mixtral大模型，達到11 tokens/s的速度，推理加速比平均達到25倍，最高達29倍。引擎採用輕量化架構設計，支持主流ARM移動晶片平台。

性能對比

截至2024年6月公開數據顯示：

1. 在配備驍龍8 Gen3處理器的安卓設備上，推理速度達到11 tokens/s（與熱門開源推理框架llama.cpp相比，PowerInfer-2.0的推理加速比平均達到25倍，最高達29倍）
2. 相較llama.cpp框架，平均提升25倍處理效率
3. 特定套用場景下加速比突破29倍

套用場景

主要面向智慧型手機端的大模型部署需求，支持：

• 本地化AI助手
• 離線文本生成
• 實時語義理解

實驗室測試表明，該引擎在保持低功耗的同時，能夠讓Mixtral 47B模型在手機上達到11tokens/s的速度。