MNN-LLMAndroidApp，後更名為“MNN Chat”，是阿里巴巴基於MNN-LLM框架開發的開源移動端AI套用，支持在Android設備上離線運行多種大語言模型。該套用具備多模態互動能力，包括文本生成、圖像描述、音頻轉文本及文生圖等功能，並通過CPU深度最佳化實現本地推理，在Android設備的CPU基準測試中，其預填充速度提升8.6倍，解碼速度提升2.3倍。套用採用模型壓縮技術降低資源占用，支持內容本地存儲，數據在本地處理。它兼容多種主流開源大語言模型，如Qwen、Gemma、Llama、Baichuan、Yi、DeepSeek等，並支持多輪對話、歷史記錄回顧以及自定義採樣器參數等功能。其疊代版本包括支持mmap加速載入的v0.2.2、最佳化DeepSeek多輪對話能力的v0.2.1以及支持Markdown的v0.2。該版本主要在OnePlus 13和Xiaomi 14 Ultra設備上經過測試。
基本介紹
- 外文名：MNN-LLM Android App
- 開發方：阿里巴巴
- 上市時間：2025年2月07日
- 產品類型：開源移動端AI套用
核心功能,技術特點,產品沿革,使用方式,開發與獲取,
核心功能
多模態互動：支持文本、圖像、音頻跨模態生成。
離線推理：完全本地運行保障數據隱私。
CPU深度最佳化：預填充和解碼速度顯著提升。
模型輕量化：壓縮技術降低記憶體占用。
多模型支持：兼容主流開源大語言模型。
技術特點
MNN-LLMAndroidApp基於MNN-LLM框架開發，用於在Android設備上離線運行多種大語言模型，以最佳化其在移動設備上的部署。
該套用支持多模態互動，可處理文本生成、圖像描述、音頻轉文本及基於擴散模型的文生圖等任務。
通過最佳化，該套用在Android設備CPU推理性能上有所提升。
推理任務在設備本地完成，用戶數據無需上傳至外部伺服器。
產品沿革
該套用已更名為“MNN Chat”，其主頁也已遷移。
2025年4月21日，推出MNN Chat v0.2.2，集成千問/百川等模型本地化部署。該版本（v0.2.2）支持使用mmap技術以加速模型載入速度，並增加了版本更新檢查器。
2025年4月28日，支持文本生成圖像、音頻轉文本等新模態，最佳化CPU推理速度8.6倍。據基準測試，其CPU推理速度相比llama.cpp和fastllm等框架有顯著提升，在Android CPU基準測試中，其預填充速度分別達到llama.cpp的8.6倍和fastllm的20.5倍，解碼速度分別達到2.3倍和8.9倍。
使用方式
用戶可從GitHub Releases頁面下載套用安裝包（APK）或自行構建。
安裝套用後，在套用內瀏覽所有支持的模型，選擇並下載所需模型，即可開始與模型互動，進行文本生成、圖像描述等多模態任務。
用戶可通過側邊欄訪問聊天歷史，無縫回顧之前的對話。
該版本僅在OnePlus 13和小米14 Ultra上經過測試；由於大語言模型對性能要求較高，許多預算有限或低規格設備可能出現推理速度慢、套用不穩定甚至完全無法運行的情況。
開發與獲取
該套用是阿里巴巴基於MNN-LLM框架開發的開源移動端AI套用，其原始碼託管於GitHub。根據項目文檔，該套用已更名為“MNN Chat”。
用戶可從GitHub項目的Releases頁面下載各版本發布包進行安裝。此外，套用也支持從ModelScope平台下載模型。
開發者可通過克隆MNN倉庫，執行指定的構建命令來編譯庫檔案和套用。具體步驟為：克隆倉庫；進入項目目錄並構建庫檔案；將生成的庫檔案複製到套用項目；最後構建並安裝Android套用。
套用已發布多個版本，例如版本0.2.2支持mmap以加速載入速度，並添加了版本更新檢查器；版本0.2.1支持ModelScope下載，最佳化了DeepSeek模型的多輪對話能力與UI展示；版本0.2針對DeepSeek R1 1.5B進行了最佳化，增加了對Markdown的支持。由於大語言模型對性能要求較高，該版本僅在OnePlus 13和Xiaomi 14 Ultra等設備上經過充分測試，在低規格設備上可能運行緩慢或不穩定。
