PowerInfer是由上海交通大學IPADS實驗室開發的開源推理框架，旨在提升大語言模型在消費級硬體上的推理效率，首個版本於2023年12月發布。該框架利用大模型中稀疏激活的局部性特徵，採用CPU與GPU異構計算架構，將高頻訪問的"熱神經元"駐留顯存，低頻"冷神經元"置於記憶體，顯著降低數據傳輸開銷。
2023年末發布的PowerInfer-1.0針對PC端最佳化，在NVIDIA 4090顯示卡上對40-70B參數模型實現最高11倍加速，支持INT4量化後推理速度達29.09 tokens/s。2024年推出的PowerInfer-2.0擴展至移動端，通過動態神經元快取和異構計算最佳化，使智慧型手機能以11 tokens/s運行470億參數的Mixtral模型，較基線框架提速最高29倍。該框架在RTX 2080Ti等中端硬體上也可流暢運行30-70B模型，顯存最佳化帶來最高8倍加速。技術演進包含神經元簇級計算適配、Turbo Sparse稀疏化方案等創新，支持OPT-175B級模型在消費級設備部署。
基本介紹
- 中文名：PowerInfer
- 推出單位：上海交大IPADS實驗室
發布歷程,運行原理,主要功能,
發布歷程
2023年年底，上海交大團隊提出了針對 PC 場景的快速推理框架 PowerInfer-1.0，在 4090 等消費級顯示卡的硬體上，實現了比 llama.cpp 高達 11 倍的推理加速，曾連續三天登頂 GitHub 趨勢榜，5 天獲得了 5k 的 GitHub star，目前已達到 7.1k star。
2024年，上海交大 IPADS 實驗室推出了面向手機的大模型推理引擎（目前論文已在 arxiv 公開）：PowerInfer-2.0。
PowerInfer-2.0 能夠在記憶體有限的智慧型手機上實現快速推理，讓 Mixtral 47B 模型在手機上達到 11 tokens/s 的速度。
與熱門開源推理框架 llama.cpp 相比，PowerInfer-2.0 的推理加速比平均達到 25 倍，最高達 29 倍。
運行原理
PowerInfer實現高速推理的秘訣，在於充分利用了稠密模型存在的高局部性的稀疏激活，並與CPU和GPU的運算特點進行了充分結合。
主要功能
PowerInfer分別在高端PC(PC-High)和搭載單張RTX 2080Ti的中低端PC(PC-Low)上測試了一系列INT4量化模型的推理速度。
在PC-High上，PowerInfer能夠高速運行40-70B規模的模型，最高達到了29.09 tokens/s的推理速度，並且實現了平均2.89倍，最高4.28倍的速度提升。
同時，在消費級硬體上運行OPT-175B這種規模的模型也成為可能。
在PC-Low這種中低端PC上，PowerInfer可以流暢運行30-70B規模的模型，並實現平均5.01倍，最高8.00倍的速度提升，這主要得益於INT4量化後模型大部分熱神經元得以放置在顯存中。
