基本介紹
- 用途：解決AI文字理解偏差問題
- 發布時間：2025年12月
- 開發者：北京大學
西安交通大學
快手科技
中科院 - 類型：文本編碼器
- 訓練策略：兩階段訓練
- 評估體系：TED-6K
開發歷程,技術原理,性能表現,套用與開源,
開發歷程
GRAN-TED是由來自北京大學、西安交通大學、快手科技以及中科院的研究團隊聯合開發的文本編碼器。該研究於2025年12月發布，論文編號為arXiv:2512.15560v2，旨在解決AI在理解用於圖像或視頻生成的文字描述時的“理解偏差”問題。為評估文本理解能力，研究團隊開發了全新的TED-6K評估體系，包含6641個測試樣本，涵蓋動作識別、空間關係等九個關鍵維度。
GRAN-TED的訓練採用了創新的兩階段策略：第一階段是針對性的微調訓練，構建大規模視覺問答數據集；第二階段是層級特徵加權最佳化，設計可學習的權重機制以組合不同層級的文本特徵。在TED-6K基準測試中，GRAN-TED相比基礎模型提升0.6分；在文本到圖像生成任務中提升1.24分，在文本到視頻生成任務中提升2.39分。
技術原理
GRAN-TED是由北京大學、西安交通大學、快手科技及中科院聯合研發的文本編碼器，旨在解決AI在文本到圖像、文本到視頻生成任務中的文字理解偏差問題。其核心技術基於Qwen3-VL-8B-Instruct模型構建。
GRAN-TED的訓練採用了創新的兩階段策略。第一階段是針對性的微調訓練，研究團隊收集了大量高質量的圖像和視頻數據，為每個樣本生成了詳細的描述文本，並構建了大規模的視覺問答數據集。第二階段是層級特徵加權最佳化，設計了一套可學習的層級權重機制，讓模型能夠自動學習如何組合不同層級的文本特徵。
研究團隊為評估模型性能，開發了名為TED-6K的全新評估體系。該體系完全基於文本進行測試，無需實際生成圖像或視頻，包含6641個測試樣本，每個樣本包含一段詳細的圖像或視頻描述及對應的判斷題。這些判斷題涵蓋動作識別、空間關係、時間關係、指代消歧、形容詞理解、副詞理解、數量統計、文字識別以及基礎事件理解九個關鍵維度。該評估方法比傳統方法效率提升約750倍。
性能表現
GRAN-TED在TED-6K基準測試中取得57.42分的成績，相比其基礎模型Qwen3-VL提升了0.6分。
在文本到圖像生成任務中，套用GRAN-TED的模型在GenAI-Bench評估中獲得77.41分，比基線模型提升1.24分；在文本到視頻生成任務中，提升幅度達到2.39分。
該編碼器在多個語義理解維度上均有改進，尤其在動作識別、時間關係理解和指代消歧方面。
其配套的TED-6K評估體系提升了測試效率，相比傳統評估方法快750倍。
套用與開源
研究團隊已經開源了相關代碼和評估工具，預計未來1-2年內會逐步集成到主流的AI生成平台中。
