研發背景
Manzano是
蘋果公司研發的多模態AI模型,其相關研究於2025年9月首次曝光,並於2026年1月發表了詳細的研究論文。蘋果研發Manzano旨在解決多模態AI領域長期存在的核心矛盾,即讓一個模型同時具備優秀的圖像理解與圖像生成能力,以彌合開源模型在此類綜合任務上表現落後於商業系統(如OpenAI GPT-4o和谷歌Gemini)的差距。模型名稱“Manzano”來源於西班牙語中的“蘋果樹”。
技術架構
Manzano模型的核心創新在於採用了混合圖像分詞器(亦稱為混合視覺標記器)。該分詞器由一個共享的視覺編碼器和兩個輕量級適配器(連續適配器與離散適配器)組成。共享編碼器可同時生成用於圖像理解的連續標記(以浮點數形式表達)和用於圖像生成的離散標記(按固定類別劃分,並採用有限標量量化技術以支持64K級大碼本)。由於這兩類標記源自同一語義空間,這種設計顯著減少了圖像理解與生成任務之間的衝突。
Manzano的整體架構採用模組化設計,包含三個核心模組:混合分詞器(或稱混合視覺標記器)、統一語言模型(大語言模型解碼器)以及獨立的圖像解碼器(如擴散解碼器)。這種模組化設計支持各部分獨立更新。
蘋果為解碼器構建了多個參數規模的版本,包括9億、17.5億和35.2億參數,或描述為從3億到300億參數不等。這些版本支持從256像素至2048像素的圖像解析度,體現了良好的可擴展性。
Manzano採用三階段訓練流程。訓練使用了總計約23億對圖像-文本樣本和10億對文本-圖像樣本,處理了總計1.6萬億標記的數據。部分訓練數據來自合成生成,如
DALL-E 3和ShareGPT-4o。
訓練過程
Manzano模型的訓練過程分為三個階段,即基礎預訓練、持續預訓練和監督微調,形成一個系統的“三階段培養計畫”。
訓練使用了總計23億對圖像-文本樣本和10億對文本-圖像樣本,總計處理了1.6萬億標記。
訓練數據包括公開數據、內部數據以及DALL-E3和ShareGPT-4o生成的合成數據。
性能表現
Manzano旨在同時具備圖像理解與圖像生成兩大能力,其綜合性能與OpenAI GPT-4o和谷歌Gemini 2.5 Flash等商業系統處於相近水平。在圖像理解方面,Manzano在ScienceQA、MMMU和MathVista等視覺理解與推理基準測試中取得了較好的成績,在圖表和文檔分析等文字密集型任務上表現較好。模型性能隨參數規模提升而提高,例如30億參數版本在部分任務中的得分比最小模型高出10分以上,300億參數版本在內部測試中得分較高。在圖像理解方面,與OpenAI GPT-4o和谷歌Gemini 2.5 Flash的分值差距較小,30億參數版本的差距在1分以內。
在圖像生成測試中,Manzano的表現接近當前主流水平,能夠執行複雜指令生成、風格遷移、圖像疊加與深度估計等任務。在處理反直覺或違背物理常識的複雜指令時,其邏輯準確性與
GPT-4o及谷歌Nano Banana模型相近。在GenEval和WISE等圖像生成基準測試以及人工評估中均有相應表現。此外,Manzano也展現出在指令引導編輯、風格轉換、圖像修復和擴展等圖像編輯領域的套用能力。
套用前景
Manzano模型目前仍處於研究階段,未正式發布或集成到
iPhone、
Mac等蘋果設備中。外界分析認為,這項技術未來極有可能被整合進蘋果的“
圖樂園”功能中,用於為用戶提供更智慧型的修圖體驗和更具想像力的畫面生成能力。其模組化設計支持各部分獨立更新,為未來的技術疊代提供了便利。不過,蘋果自研的基礎模型整體上仍落後於行業領先者,因此即便推出了新的端側AI框架,蘋果仍計畫在
iOS 26的
Apple Intelligence中引入
OpenAI的
GPT-5。Manzano的進展展示了蘋果在減少對外部AI模型依賴方面的技術探索,但其實際效果和戰略價值仍需後續版本的進一步驗證。
團隊與論文
Manzano模型由
蘋果公司的研究團隊開發,其中包括李楊昊等研究人員。該團隊於2025年發布了研究論文《MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer》。論文以預印本形式公開於arXiv,編號為arXiv:2509.16197。論文中展示了部分低解析度圖像樣例,該模型沒有正式發布,也未提供公開演示。