VITA(由騰訊優圖等機構開發的首個開源多模態大語言模型)

VITA是由騰訊優圖等機構開發的首個開源多模態大語言模型，能同時處理視頻、圖像、文本和音頻，提供多模態互動體驗。該模型採用Mixtral 8×7B為基礎，進行雙語指令微調和多模態對齊，增強了視覺和音頻能力，並實現了非喚醒互動和音頻中斷的人機互動功能。VITA多模態大模型系列是南京大學傅朝友老師的代表性工作之一。

基本介紹

• 外文名：VITA
• 開發方：騰訊優圖等

產品基礎

採用Mixtral 8×7B為基礎，進行雙語指令微調和多模態對齊，增強了視覺和音頻能力。

產品功能

VITA實現了非喚醒互動和音頻中斷的人機互動功能，通過複式部署模型，提高了環境輸入的連續跟蹤能力。

研發團隊與影響

傅朝友是南京大學模式識別實驗室研究員、助理教授、博導，入選中國科協“青年人才托舉工程”。其代表性工作包括VITA多模態大模型系列（VITA-1.0/-1.5、Long-VITA、VITA-Audio）。

2026年4月13日，其團隊發布了視頻理解評測新基準Video-MME-v2。該基準揭示了當前最強模型與人類在視頻理解上仍存在巨大差距。

傅朝友曾獲小米青年學者-科技創新獎、華為紫金學者、世界人工智慧大會雲帆獎、中科院院長特別獎、IEEE Biometrics Council Best Doctoral Dissertation Award、北京市優博、中科院優博、CVPR 2023 Outstanding Reviewer等榮譽。