Megrez-3B-Omni是由無問芯穹於2024年12月正式開源的全球首個端側全模態理解開源模型。該模型具備處理圖片、音頻、文本三種模態數據的能力，並選擇了適合手機、平板等端側設備的30億參數規模。在圖像理解方面，其綜合性能超過部分34B模型；在文本理解方面，將上一代14B大模型的能力壓縮至3B規模；在語音理解方面，支持中英文輸入及多輪對話場景。模型通過軟硬體協同最佳化，推理速度最大領先同精度模型300%，並作為“端模型+端軟體+端IP”端上智慧型一體化解決方案的重要構成。
基本介紹
- 參數規模：30億
- 發布單位：無問芯穹
- 發布時間：2024年12月
- 所屬方案：端上智慧型一體化解決方案
- 技術特點：軟硬體協同最佳化
- 單模態版本：Megrez-3B-Instruct
模型特點,技術優勢,未來發展,
模型特點
- 多模態能力：具備圖片、音頻、文本三種模態數據處理能力。
- 參數規模：選擇30億參數的黃金尺寸，結構規整，適合端側設備部署。
- 測評表現：在多個主流測試集上取得最優性能，圖像理解超越34B模型，文本理解壓縮14B至3B規模，語音理解支持中英文及多輪對話。
技術優勢
- 推理速度：最大領先同精度模型300%。
- 硬體適配：通過軟硬體協同最佳化策略，實現CPU、GPU、NPU同時推理，額外提升最高70%性能。
- 工具支持：純語言版本Megrez-3B-Instruct在推理速度上顯著提升，最大推理速度領先同精度模型300%。
未來發展
- 持續疊代：作為能力預覽階段模型，無問芯穹計畫持續最佳化自動化水平，推動端側智慧型發展。
- 套用場景：將作為“端模型+端軟體+端IP”端上智慧型一體化解決方案的重要構成，支持用戶通過語音指令完成設備操作。
