IP-Adapter是於2023年提出的一種輕量級圖像提示適配器，其核心設計是解耦的交叉注意力機制。該適配器參數量僅為22M，旨在為預訓練的文本到圖像擴散模型（如Stable Diffusion 1.5和SDXL）增加圖像提示能力。
IP-Adapter不僅能與文本提示結合實現多模態圖像生成，還可與ControlNet等現有可控工具兼容，實現聯合控制生成。它支持通過WebUI、ComfyUI等多種方式使用，並有專注於人像生成的IP-Adapter-FaceID等變體模型。因其能實現風格遷移等功能，在相關套用社區中常被俗稱為“墊圖”。
基本介紹
- 外文名：IP-Adapter
- 最近更新時間：2023年8月23日
- 上市時間：2023年8月16日
研發背景,發展歷程,核心功能,核心技術,運營模式,核心團隊,
研發背景
IP-Adapter是由騰訊AI Lab團隊研發的一款輕量級適配器，旨在為預訓練的文本到圖像擴散模型增加圖像提示能力。其設計目標是以極小的參數量（如僅22M）實現與微調模型相當甚至更優的性能，並能與文本提示協同工作，實現多模態圖像生成。
發展歷程
2023年8月16日，IP-Adapter發布代碼與模型；8月18日增加對SDXL 1.0的支持；8月23日發布具備細粒度特徵的IP-Adapter-Plus；8月30日發布以人臉圖像作為提示的IP-Adapter-Face。2023年9月5日，IP-Adapter獲得WebUI和ComfyUI支持。2023年11月22日，IP-Adapter集成至Diffusers庫。
2023年12月20日至2024年1月19日，陸續發布IP-Adapter-FaceID系列實驗性版本，包括FaceID、FaceID-Plus、FaceID-PlusV2及SDXL版本。2024年11月8日，為FLUX.1-dev模型提供了IP-Adapter檢查點。
核心功能
圖像提示生成：通過參考圖像生成風格一致的圖像
面部特徵遷移：保持並遷移圖像中的面部特徵
多模態控制：結合文本與圖像提示生成內容
輕量級適配：低參數實現預訓練模型擴展
聯合控制生成：與ControlNet等工具協同控制
核心技術
IP-Adapter包括一個圖像編碼器和包含解耦交叉注意力機制的適配器模組。
IP-Adapter的關鍵設計是解耦的交叉注意力機制，可將文本特徵和圖像特徵的交叉注意力層分離。其通過在UNet模組中新增獨立的圖像特徵Cross-Attention模組，實現圖像特徵的獨立注入。
IP-Adapter是一個輕量級適配器，僅包含約22M參數，即可實現媲美全微調模型的圖像提示性能。
其核心組件主要包括一個圖像編碼器（主要使用CLIP圖像編碼器，如OpenCLIP ViT-H）和一個包含解耦交叉注意力機制的適配器模組。在人臉相關的變體（如IP-Adapter-FaceID）中，圖像編碼器會結合人臉識別模型（如InsightFace的ArcFace）。
運營模式
IP-Adapter作為一個開源項目，其運營模式主要圍繞代碼與模型的發布、用戶獲取與使用、以及廣泛的第三方生態集成展開。其代碼與模型通過GitHub開源發布，用戶可通過命令進行安裝。
項目提供了針對Stable Diffusion 1.5和SDXL等基礎模型的詳細使用指南，包括圖像變體生成、圖像到圖像轉換、圖像修復以及結合ControlNet等可控工具進行結構化生成。模型方面，IP-Adapter擁有基礎版、Plus版、Face版以及FaceID系列等多種變體，用戶需從指定倉庫下載模型檔案，並按照特定命名規則存放於相應目錄以確保正常載入。
IP-Adapter已廣泛集成於主流AI繪畫工具與框架中，包括WebUI、ComfyUI、InvokeAI、AnimateDiff以及官方的Diffusers庫。對於希望自定義訓練的用戶，項目開源了訓練代碼，訓練前需安裝accelerate庫並準備符合格式要求的數據集。
核心團隊
IP-Adapter的主要研發團隊為騰訊AI Lab。其核心技術論文《IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models》的作者為Hu Ye、Jun Zhang、Sibo Liu、Xiao Han和Wei Yang。
