Chameleon(混合模態基座模型)

本詞條是多義詞,共5個義項
更多義項 ▼ 收起列表 ▲

Chameleon(變色龍),是Meta團隊發布的混合模態基座模型。Meta團隊於2024年5月發布了「混合模態」Chameleon,可以在單一神經網路無縫處理文本和圖像。10萬億token訓練的34B參數模型性能接近GPT-4V,刷新SOTA。

基本介紹

  • 中文名:Chameleon
  • 發布團隊:Meta團隊
主要簡介,技術架構,

主要簡介

與GPT-4o一樣,Chameleon採用了統一的Transformer架構,使用文本、圖像和代碼混合模態完成訓練。以類似文本生成的方式,對圖像進行離散「分詞化」(tokenization),最終生成和推理交錯的文本和圖像序列。這種「早期融合」的方法,所有的pipeline從一開始就被映射到一個共同的表示空間,因此模型可以無縫處理文本和圖像。Meta研究團隊引入了一系列架構創新和訓練技術。結果表明,在純文本任務中,340億參數Chameleon(用10萬億多模態token訓練)的性能和Gemini-Pro相當。在視覺問答和圖像標註基準上,刷新SOTA,性能接近GPT-4V。不過,不論是GPT-4o,還是Chameleon,都是新一代「原生」端到端的多模態基礎模型早期探索。

技術架構

Meta在Chameleon的論文中首先表示:很多新近發布的模型依舊沒有將「多模態」貫徹到底。這些模型雖然採用了端到端的訓練方式,但仍然單獨對不同模態進行建模,使用分開的編碼器或解碼器。如開頭所述,這種做法限制了模型跨模態信息的能力,也難以生成包含任意形式信息的、真正的多模態文檔。為了改進這種缺陷,Meta提出了一系列「混合模態」的基座模型Chameleon——能夠生成文本和圖像內容任意交織在一起的內容。

相關詞條

熱門詞條

聯絡我們