MNN 大模型 Android App

MNN大模型Android App是阿里巴巴基於MNN-LLM框架開發的移動端AI套用。支持在Android設備上離線運行多種大語言模型（如Qwen、Gemma、Llama），具備多模態互動能力（包括文本生成、圖像識別、音頻轉文本及文生圖），並通過CPU深度最佳化提升本地推理效率。採用模型壓縮技術降低資源占用，支持內容本地存儲保障數據隱私，適合開發者、研究人員、學生等用戶。

發展歷程包括：2025年2月7日開源版本發布；2025年4月21日核心框架疊代；2025年4月28日多模態升級並最佳化CPU推理速度8.6倍；2025年5月13日更新最新模型Qwen-2.5-Omni-3B/7B。

基本介紹

• 中文名：MNN 大模型 Android App
• 最近更新時間：2025年5月13日
• 產品類型：移動端AI套用

發展歷程

2025年2月7日，MNN LLM開源版本發布。2025年4月21日，核心框架疊代。2025年4月28日，套用實現多模態升級，並最佳化CPU推理速度達8.6倍。2025年5月13日，更新支持最新模型Qwen-2.5-Omni-3B/7B。

核心功能

多模態互動：支持文本、圖像、音頻互轉

離線模型運行：本地化部署大語言模型

多模型切換：內置Qwen/Gemma等主流模型

CPU深度最佳化：移動端高效推理加速

擴散模型生成：文本到圖像生成功能。

技術特點與最佳化

針對移動端設備的高記憶體消耗和計算成本挑戰，MNN-LLM App通過模型量化、混合存儲和硬體特定最佳化等技術手段進行推理速度最佳化。

在CPU解碼階段，MNN-LLM在特定測試中表現更優，尤其在Prefill階段速度有所提升；在GPU性能方面，運行部分模型時速度提升較為明顯，運行較大模型時與部分方案性能相近，且運行過程相對穩定。

MNN對多模態模型進行了移動端最佳化，旨在提升生成速度並減少記憶體占用。

該App的模型下載功能支持從Modelscope倉庫獲取，並具備斷點續傳能力。

支持模型

MNN大模型Android App支持多種模型，包括DeepSeek-R1-7B-Qwen-MNN、Qwen2.5-7B-Instruct-MNN、gemma-2-2b-it-MNN、Qwen2.5-3B-Instruct-MNN、Qwen2.5-1.5B-Instruct-MNN、deepseek-llm-7b-chat-MNN、Qwen-VL-Chat-MNN等數十種模型。Android設備建議8GB記憶體可運行，7B以上模型建議8gen1以後機型；iOS設備建議8GB記憶體可使用8B以下模型，6GB記憶體建議選擇3B以下模型，4GB記憶體推薦使用1B或更小模型。部分模型如glm-4-9b-chat-MNN、stable-diffusion-v1-5-mnn-opencl在iOS上暫不支持。

獲取與使用

Android用戶可通過GitHub下載APK，具體地址為MNN/project/android/apps/MnnLlmApp/README.md。iOS用戶需通過源碼編譯獲取，源碼位於MNN/apps/iOS/MNNLLMChat。開源項目地址為GitHub - alibaba/MNN。

需求人群

該套用適合需要在移動設備上高效使用大語言模型的用戶，如開發者、研究人員、學生等，尤其適合對數據隱私有較高要求的場景。