研發背景
PaperBanana於2026年2月3日由谷歌推出,該框架由北京大學與Google Cloud AI Research聯合開發。
其研發旨在通過AI自動化處理學術插圖製作,為科研人員提供從想法到可視化的相關功能。
PaperBanana的出現反映了科研流程中配圖環節的自動化發展趨勢。
發展歷程
PaperBanana於2026年2月(具體為2月3日或4日)由Google Cloud AI Research與北京大學聯合團隊正式發布,相關論文同步公開。
項目在發布後不久即在GitHub平台開源,並迅速獲得大量關注。
目前PaperBanana仍處於研究原型階段,研究團隊有明確的未來開發計畫,例如開發能夠操作Adobe Illustrator的GUI Agent。
核心技術
PaperBanana的核心是一個由五個專業化智慧型體組成的協作系統,其工作流程分為線性規劃與疊代最佳化兩個主要階段,五個核心智慧型體分別為檢索智慧型體、規劃智慧型體、風格智慧型體、可視化智慧型體和批評智慧型體。
線上性規劃階段,系統首先由檢索智慧型體從頂級會議論文庫中檢索與任務相關的參考圖表,規劃智慧型體隨後將論文中的方法描述轉化為結構化的視覺藍圖,風格智慧型體則依據對頂級論文的審美分析為藍圖添加配色、排版等美學規範,最後由可視化智慧型體根據藍圖和規範渲染生成初始圖像或編寫可執行的Python繪圖代碼。在疊代最佳化階段,批評智慧型體評估生成圖像與原文內容的一致性,識別問題並提供反饋,系統根據反饋最佳化描述並重新生成圖像,形成一個閉環最佳化機制,通常進行多輪疊代以逐步提升插圖質量。
該框架的底層驅動模型為Gemini 3 Pro和Nano-Banana-Pro。系統支持代碼生成模式和直接生圖模式兩種生成模式。
為評估系統性能,研究團隊構建了名為PaperBananaBench的專業評測基準,包含292個從NeurIPS 2025論文中精選的測試案例。採用VLM-as-a-Judge方法從忠實性、簡潔性、可讀性和美觀性四個維度進行評估,實驗結果顯示PaperBanana在全部四個維度上均顯著優於基線方法,綜合得分相對提升達17.0%,其中簡潔性提升尤為顯著。消融實驗證明了檢索、風格最佳化和批評疊代各環節的關鍵作用。
技術實現
PaperBanana採用多智慧型體協作框架來實現學術插圖的自動化生成。該框架並非由單一模型完成全部任務,而是將插圖生成這一複雜任務進行了系統性拆解,由不同角色的智慧型體分工協作完成。具體而言,PaperBanana通過檢索(Retriever)、規劃(Planner)、風格(Stylist)、可視化(Visualizer)和批評(Critic)五個專業智慧型體分工協作,其工作流程分為線性規劃和疊代最佳化兩個核心階段。
例如,有的智慧型體負責理解論文文本並抽取其中的關鍵信息;有的智慧型體負責根據這些信息規劃插圖的整體邏輯結構;還有的智慧型體負責將規劃好的結構轉化為具體的可視化描述或可執行的繪圖代碼。這一流程體現了其將插圖生成視為一個結構化、可建模問題的研究思路。
線上性規劃階段,系統首先由檢索智慧型體從會議論文庫中篩選相關參考圖;規劃智慧型體隨後將論文方法描述轉化為結構化的視覺藍圖;風格智慧型體依據會議審美規範最佳化藍圖;最後由可視化智慧型體渲染成初始圖像。緊接著進入疊代最佳化階段,批評智慧型體評估生成圖像與原文的一致性,識別問題並提供反饋,系統根據反饋最佳化描述並重新生成圖像,此閉環過程通常循環多次,以提升插圖質量。
可視化智慧型體具備兩種生成模式:默認的“代碼生成模式”利用大模型(如Gemini-3-Pro)自動編寫並執行Python可視化代碼,側重於統計圖表數據的準確性;另一種“直接生圖模式”則由圖像生成模型直接根據描述生成。經過多輪疊代最佳化後,系統輸出生成的圖像。
核心團隊
PaperBanana項目由北京大學與Google Cloud AI Research的7人團隊合作完成。主要研究人員包括:第一作者兼通訊作者Dawei Zhu(北京大學四年級博士生,Google Cloud AI Research學生研究員)。北京大學方成員包括Xiyu Wei(學生)和通訊作者Sujian Li(北京大學計算機學院長聘副教授,Dawei Zhu的博士導師)。Google Cloud AI Research方成員包括負責人Tomas Pfister、高級研究科學家Yale Song、研究科學家Rui Meng以及通訊作者Jinsung Yoon(研究科學家)。
評估方式
PaperBanana 並沒有簡單用“好不好看”來評價結果,而是嘗試引入多維度評估,例如插圖是否覆蓋了論文中的關鍵信息、結構是否合理、邏輯是否清晰以及是否存在誤導性或信息缺失。
研究團隊構建了名為PaperBananaBench的專用評估基準,包含292個測試案例。評估採用大模型裁判(VLM-as-a-Judge)的範式,主要從忠實度、簡潔性、可讀性和美觀性等維度進行綜合打分。實驗結果顯示,PaperBanana在多項評估指標上顯著優於基線方法。
發展現狀
截至2026年2月,PaperBanana的研究論文已正式發布,其代碼已在開源社區GitHub上開源,被視為一項具備明確套用前景和未來路線圖的研究原型與工具框架。項目在GitHub開源後,已獲得大量開發者的關注。
研究團隊構建了包含292個案例的PaperBananaBench評估基準,實驗結果顯示,PaperBanana在忠實度、簡潔性、可讀性和美觀性四個評估維度上均顯著優於基線方法,綜合得分提升達17.0%。在匿名人類盲測中,有72.7%的研究員認為其效果優於基線模型。
PaperBanana提供代碼生成和直接生圖兩種模式,能夠生成論文方法流程圖、模型結構圖及高精度統計圖表,並能對現有手繪插圖進行最佳化。研究團隊表示,下一步計畫是開發能操作Adobe Illustrator等專業軟體的GUI Agent,以解決當前輸出為點陣圖、無法進行矢量編輯的局限性。