Chameleon(混合模態基座模型)

Chameleon（變色龍），是Meta團隊發布的混合模態基座模型。Meta團隊於2024年5月發布了「混合模態」Chameleon，可以在單一神經網路無縫處理文本和圖像。10萬億token訓練的34B參數模型性能接近GPT-4V，刷新SOTA。

基本介紹

• 中文名：Chameleon
• 發布團隊：Meta團隊

主要簡介

與GPT-4o一樣，Chameleon採用了統一的Transformer架構，使用文本、圖像和代碼混合模態完成訓練。以類似文本生成的方式，對圖像進行離散「分詞化」（tokenization），最終生成和推理交錯的文本和圖像序列。這種「早期融合」的方法，所有的pipeline從一開始就被映射到一個共同的表示空間，因此模型可以無縫處理文本和圖像。Meta研究團隊引入了一系列架構創新和訓練技術。結果表明，在純文本任務中，340億參數Chameleon（用10萬億多模態token訓練）的性能和Gemini-Pro相當。在視覺問答和圖像標註基準上，刷新SOTA，性能接近GPT-4V。不過，不論是GPT-4o，還是Chameleon，都是新一代「原生」端到端的多模態基礎模型早期探索。

技術架構

Meta在Chameleon的論文中首先表示：很多新近發布的模型依舊沒有將「多模態」貫徹到底。這些模型雖然採用了端到端的訓練方式，但仍然單獨對不同模態進行建模，使用分開的編碼器或解碼器。如開頭所述，這種做法限制了模型跨模態信息的能力，也難以生成包含任意形式信息的、真正的多模態文檔。為了改進這種缺陷，Meta提出了一系列「混合模態」的基座模型Chameleon——能夠生成文本和圖像內容任意交織在一起的內容。