TinyLLaVA-Video是北京航空航天大學研究團隊於2025年2月發布的輕量級視頻理解框架，基於TinyLLaVA_Factory項目開發，整體參數量約3.6B。該框架在多個視頻理解基準測試中性能優於部分7B參數模型。訓練數據基於開源的LLaVA-Video-178K和Valley數據集，經過篩選得到397k的預訓練數據與491k的監督微調數據。實驗結果表明，該模型在包含MLVU、Video-MME、LongVideoBench在內的多個視頻理解基準測試集上表現優於部分7B模型。
框架核心設計為視頻級組重採樣器，可減少輸入至語言模型的視覺標記數量，支持靈活的視頻採樣策略。模型支持Qwen2.5等語言模型替換，在8塊A100-40G GPU上訓練一天即可完成。實驗顯示其在Video-MME基準達到44.7%準確率，推理速度較同類模型快30%，記憶體占用降低40%。2025年4月，該團隊基於TinyLLaVA-Video框架發布了視頻推理模型TinyLLaVA-Video-R1，該模型通過引入強化學習在通用視頻問答數據上提升了性能，並能生成可解釋的思考過程。
基本介紹
- 外文名：TinyLLaVA-Video
- 推出團隊：北京航空航天大學的研究團隊
研發背景,發展歷史,核心技術,重要事件,優點介紹,
研發背景
視頻行為識別與場景理解是多模態智慧型的基礎任務，是眾多現實套用的關鍵基石。然而，大多數現有開源視頻理解模型依賴超過70億參數，需要大規模數據集進行訓練，導致資源消耗巨大且對許多研究者而言難以企及。同時，輕量級模型在有效處理長視覺序列和時序理解方面也面臨持續挑戰。
為探索在有限計算資源下的小尺寸視頻理解模型，北京航空航天大學的研究團隊基於TinyLLaVA_Factory項目，推出了輕量級視頻理解框架TinyLLaVA-Video。該框架旨在構建參數不超過40億的模型，並在顯著降低計算資源需求的前提下，在多個視頻理解基準測試上達到優於現有7B+模型的效果，為資源有限的研究者提供了探索多模態模型的平台。
發展歷史
2025年1月26日，北京航空航天大學研究團隊在arXiv上提交論文《TinyLLaVA-Video: Towards Smaller LMMs for Video Understanding with Group Resampler》，首次提出了TinyLLaVA-Video框架。2025年2月10日，北京航空航天大學的研究團隊基於 TinyLLaVA_Factory 的原項目，推出小尺寸簡易視頻理解框架 TinyLLaVA-Video，其模型，代碼以及訓練數據全部開源。
2025年4月，該團隊基於TinyLLaVA-Video框架，進一步推出了視頻推理模型TinyLLaVA-Video-R1，並開源了模型權重、代碼及訓練數據。
核心技術
模型通常選用Qwen2.5-3B作為語言模型，SigLIP作為視覺編碼器，整體參數量約為3.6B，不超過4B。
訓練採用兩階段策略：預訓練對齊階段僅更新連線器；監督微調階段凍結視覺編碼器，更新連線器和語言模型。
該框架支持靈活的視頻採樣策略，並可調整採樣幀數和可學習查詢數量以平衡性能與效率，在8塊A100-40G GPU上訓練一天即可完成。
重要事件
2025年1月26日，TinyLLaVA-Video框架的論文初版（v1）在arXiv上提交，標題為《TinyLLaVA-Video: Towards Smaller LMMs for Video Understanding with Group Resampler》；2025年4月，基於TinyLLaVA-Video框架的視頻推理模型TinyLLaVA-Video-R1的論文《TinyLLaVA-Video-R1: Towards Smaller LMMs for Video Reasoning》及代碼倉庫發布；2025年6月10日，TinyLLaVA-Video框架的論文發布修訂版（v2）。
優點介紹
區別於眾多僅開源模型權重的項目，TinyLLaVA-Video 秉承了 TinyLLaVA_Factory 全面開源的理念。該項目不僅公開了完整的模型權重、訓練代碼和訓練數據集，也延續了原有的模組化設計架構，研究人員可根據具體實驗需求，靈活替換語言模型、視覺編碼器等核心組件，並可自定義訓練策略。這種開放性設計不僅降低了小規模研究團隊進入視頻理解研究領域的門檻，還為未來的輕量級視頻理解模型的訓練範式與架構創新探索提供了實驗平台。
在模型架構方面，TinyLLaVA-Video 沿用 LLaVA 類多模態模型常見的 Vision Tower+Connector+LLM 框架，並同樣保持預訓練對齊與監督微調的兩階段訓練策略。項目中採用的所有預訓練模型組件均遵循開源協定，包括如 Qwen2.5-3B 等語言模型和 SigLIP 等視覺編碼器此類核心模組，確保了實驗的可復現性，為研究者提供了可靠的基準參考。同時，研究人員可以方便地替換模型組件，更改訓練策略，定製符合自身需求的視頻理解模型。
在訓練數據方面，TinyLLaVA-Video 基於開源的 LLaVA-Video-178K 和 Valley 數據集進行實驗。同時，為進一步精簡數據集，提高訓練數據的質量並控制計算資源成本，項目對訓練數據進行了多步篩選與過濾，最終得到 397k 的預訓練數據與 491k 的監督微調數據。這使得研究者即便僅具備有限的計算資源，也能在合理的訓練時間內復現實驗結果並開展進一步研究。經過處理的數據標註信息（annotation）也已經完整公開於 HuggingFace 平台，這也為後續研究提供了高質量的數據基礎。小尺寸簡易框架，依然保持高性能
以往的視頻理解方法受限於語言模型的輸入長度限制，往往面臨兩難選擇：要么通過設計複雜的模型架構來處理長序列信息，要么犧牲視頻信息的完整性而限制採樣幀數。因此，如何處理長時序視覺序列，並平衡計算資源與性能之間的矛盾，成為輕量級視頻理解模型亟待解決的問題。
為在保持模型結構輕量化的同時解決長序列信息處理的問題，TinyLLaVA-Video 對於經過 Vision Tower 處理後的整體視頻序列，使用簡單的視頻級 Resampler 作為 Connector 來對齊視覺和語言，從而能極大地減少輸入至語言模型的 Visual Token 的數量。這種處理方式可以使得模型支持靈活的視頻採樣策略，研究者可以根據視頻類型與使用需求進行 fps 採樣或均勻幀採樣，設定不同的視頻採樣幀數。
雖然簡化模型架構並控制訓練數據的規模，但是 TinyLLaVA-Video 的表現依然非常可觀。實驗結果表明，整體參數不超過 4B 的模型在包含 MLVU、Video-MME 在內的多個視頻理解基準測試集上的表現優於同等訓練數據量級下的 7B + 模型，充分驗證了該框架的有效性。
此外，該研究也進行了大量實驗，系統性地探索了不同配置下的模型性能，包括選擇不同的語言模型、視覺編碼器以及採樣不同的幀數等設定的影響（實驗設定與結果詳見技術報告）。這些實驗結果揭示了在不同參數設定下，模型在視頻理解任務中的表現，為研究者提供了最佳化模型結構的實證數據。這些探索不僅提升了 TinyLLaVA-Video 的適用性，也為後續研究提供了重要的參考依據。
TinyLLaVA-Video 的研究表明，小尺寸視頻理解模型在計算成本有限的環境下仍具有廣闊的發展空間。未來，計算資源有限的研究者們可以基於該工作，進一步最佳化模型結構和訓練策略，以推動小尺寸視頻理解模型的持續發展，為資源受限環境下的多模態研究提供更多可能性。
