CogVLM2-Video是智譜AI於2024年7月12日宣布並開源的一種新的視頻理解模型。它屬於CogVLM2系列，該系列是新一代用於圖像和視頻理解的視覺語言模型。
作為視頻理解模型，CogVLM2-Video集成了多幀輸入與時間戳，並提出了自動化的時間定位數據構建方法。該模型在多個公開評測基準上取得了先進的結果，在視頻字幕生成和時間定位方面表現出色。CogVLM2-Video能夠感知視頻時間戳信息以實現時間定位和相關問答，並通過自動化流程構建了數萬條時間定位問答數據用於訓練。
基本介紹
- 中文名：CogVLM2-Video
- 外文名：CogVLM2-Video
- 出品公司：智譜 AI
- 產品類型：視頻理解模型
模型概述,技術特點,性能表現,套用場景,開源與獲取,功能介紹,
模型概述
CogVLM2-Video是CogVLM2系列中的新一代視覺語言模型，由智譜AI與清華大學團隊開發，專注於圖像和視頻理解任務。當前大多數的視頻理解模型使用幀平均和視頻標記壓縮方法，導致時間信息的丟失，無法準確回答與時間相關的問題。為此，該模型引入了多幀視頻圖像和時間戳作為編碼器輸入，並提出了基於視覺模型的自動時間定位數據構建方法，生成了3萬條時間相關的視頻問答數據。該模型在MMBench、MM-Vet、TextVQA、MVBench和VCGBench等多個視頻理解基準測試中取得了領先的性能，並能夠完成視頻字幕生成和時間定位任務。CogVLM2-Video及其系列模型已在GitHub上開源。
技術特點
CogVLM2-Video是智譜AI與清華大學團隊開源的新一代視覺語言模型，用於視頻理解，基於CogVLM2圖像理解模型擴展而來。該模型引入了多幀視頻圖像和時間戳作為編碼器輸入，並提出了基於視覺模型的自動時間定位數據構建方法，生成了約3萬條時間相關的視頻問答數據。不同於傳統的幀平均和視頻標記壓縮方法，該模型能夠更準確地回答與時間相關的問題，其訓練結合了新構建的時間定位數據和現有開放領域問答數據。CogVLM2-Video在MMBench、MM-Vet、TextVQA、MVBench和VCGBench等多個公共視頻理解基準測試中排名靠前，並能夠進行視頻字幕生成和時間定位。團隊還微調了基於CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕數據進行訓練，以加速視頻字幕生成過程。
性能表現
CogVLM2-Video在MMBench、MM-Vet、TextVQA、MVBench和VCGBench等多個視覺語言理解基準測試中進行了測試。
在MVBench數據集上，其表現具體為62.3, 85.5, 41.5, 31.5, 65.5, 79.5, 58.5, 77.0, 28.5, 42.5, 54.0, 57.0, 91.5, 73.0, 48.0, 91.0, 78.0, 36.0, 91.5, 47.0, 68.5，在VideoChatGPT-Bench和零樣本視頻問答數據集（如MSVD-QA、MSRVTT-QA、ActivityNet-QA）上取得了特定分數。
該模型能夠在一分鐘內完成視頻理解。
CogVLM2-Video在公共視頻理解基準、視頻字幕生成和時間定位方面進行了測試。
套用場景
在視頻內容理解與問答方面，CogVLM2-Video支持對視頻內容進行分析，在多個視頻問答任務上取得較好性能。在視頻字幕生成方面，CogVLM2-Video能夠生成描述視頻內容的字幕，並存在專門的CogVLM2-Caption模型以加速該過程。在時間定位問答方面，模型通過集成時間戳信息，可以回答視頻中與特定時間點相關的問題。此外，CogVLM2-Video可作為基礎工具，為後續的視頻生成、視頻摘要等任務提供支持。
開源與獲取
2024年 7 月 12 日，智譜 AI 宣布，訓練了一種新的視頻理解模型 CogVLM2-Video，並將其開源。
所有模型代碼均在 GitHub 平台開源。該模型的技術細節發表於題為《CogVLM2: Visual Language Models for Image and Video Understanding》的論文中，該論文發布於 arXiv 預印本平台。
模型依據 CogVLM2 LICENSE 發布，對於基於 Meta Llama 3 構建的模型部分，使用者需同時遵守 LLAMA3_LICENSE。官方提供了 Chat 版本的模型，支持單輪對話，可用於推理任務，用戶可通過安裝Python依賴包快速運行模型，並支持對模型進行微調以適應特定任務。
在開源社區中，有開發者就模型的多卡推理支持等功能提出了討論和建議。
功能介紹
CogVLM2-Video 不僅在公共視頻理解基準上達到了最新的性能，還在視頻字幕生成和時間定位方面表現出色。
