Vimi是商湯科技於2024年7月發布的面向C端用戶的可控人物視頻生成大模型。該模型基於商湯日日新大模型體系構建，通過單張任意風格照片即可生成與目標動作一致的人物視頻，支持人物視頻、動畫、聲音、文字等多元素驅動。其核心創新在於將整段動作信息作為整體進行抽象建模，實現空間和時間維度的視頻生成穩定性，可生成長達1分鐘的單鏡頭人物類視頻且畫面效果無劣化失真。
Vimi通過流式多模態互動技術，在精準控制人物表情、肢體動作的同時，還能自動生成適配的頭髮抖動、服飾變換及合理光影效果。該模型主要套用於聊天、唱歌、舞動等娛樂互動場景，重點滿足女性用戶在數字分身生成、多風格寫真創作等方面的需求。
基本介紹
- 發布時間：2024年7月
- 開發公司：商湯科技
- 模型類型：可控人物視頻生成
- 核心技術：日日新大模型體系
- 生成時長：最長1分鐘
- 套用場景：娛樂互動
技術特性,功能套用,技術突破,行業定位,套用案例,
技術特性
- 時空整體性：通過動作信息的整體理解和特徵融合，突破傳統視頻生成工具3-4秒的時長限制，實現單鏡頭連續生成1分鐘人物視頻的能力。模型採用流式多模態互動技術，確保視頻在時間推移中保持畫面穩定性和光影適配效果
- 多模態驅動：支持通過已有人物視頻、動畫、聲音、文字等多種輸入方式進行視頻生成控制。用戶僅需上傳單張照片即可生成與目標動作完全一致的人物動作序列
- 生成穩定性：基於商湯積累的面部跟蹤技術，在長視頻生成過程中保持人物身份的穩定性，精準控制半身區域的肢體動作和微表情變化
功能套用
- 娛樂互動：面向C端用戶打造聊天、唱歌、舞動等互動場景，支持通過即時拍攝照片生成數字分身視頻，提供唯美、奇幻等多種視覺風格選擇
- 跨行業套用：作為影視製作和廣告行業的生產力工具，可快速生成符合設定要求的演員表演視頻，降低視頻創作的時間和經濟成本
- 數字分身：用戶可通過Vimi相機功能創建個性化虛擬形象，生成包含自然肢體動作和表情變化的風格化寫真視頻
技術突破
- 動作控制精度：建立人物動作與生成模型特徵的映射關係，相較於傳統工具提升肢體動作控制精度達40%，解決行業普遍存在的身份穩定性差、動作漂移等問題
- 生成時長突破：通過時空連續性建模技術，將單鏡頭生成時長從行業平均的10秒提升至60秒，且畫面質量保持穩定無失真
- 多要素協同：在生成主體動作的同時，自動合成與動作匹配的頭髮抖動、服飾紋理變化及背景光影效果，實現電影級視頻質感
行業定位
作為商湯AI大模型戰略的重要組成部分，Vimi與日日新5.5大模型形成技術協同。依託商湯全國算力規模達20000 petaFLOPS的基礎設施，該模型已在2024世界人工智慧大會上獲得"鎮館之寶"榮譽，標誌著商湯在AI+視頻領域進入新的發展階段。
套用案例
- Vimi相機：首款基於該模型的C端產品，支持用戶上傳圖片生成數字分身視頻，提供表情包創作、多風格寫真模板等功能
- 影視預演：為某動畫電影製作方提供角色動作預演服務，將傳統需2周完成的分鏡製作縮短至8小時
- WAIC展示：在2024世界人工智慧大會期間實時生成虛擬主播互動視頻，連續12小時直播無畫面劣化現象
