發展歷程
Runway發布了視頻生成模型
Gen-3 Alpha,這是在專為大規模多模態訓練所構建的全新基礎設施之上訓練出的模型家族首位成員。Gen-3 Alpha在保真度、一致性和運動表現方面有所改進。
隨後,
Runway推出了Gen-3 Alpha Turbo版本。2024年8月,Runway宣布該版本將視頻生成速度提升了7倍,在大多數使用場景中保持了與原版相當的性能。聯合創始人兼CEO
Cristóbal Valenzuela表示,用戶可以使用該模型“實時”或接近實時地生成新視頻。該版本也向免費用戶開放了圖像到視頻生成功能。
2024年10月,
Runway為其視頻生成大模型Gen-3 Alpha Turbo開放了僅限受邀者使用的API接口,供受邀者在套用中構建視頻生成功能。
2024年11月,
Runway為Gen-3 Alpha Turbo模型推出了高級攝像機控制系統。該系統允許用戶根據文本提示、上傳的圖像或視頻,控制AI生成視頻中攝像機的移動方向和強度,從而更精細地塑造作品。
截至2026年3月,攝像機控制功能已得到進一步細化,用戶可將多個攝像機控制組合以實現複雜運動,並配合文本提示以獲得預期效果。該功能在所有計畫級別可用。
技術特點
Gen-3 Alpha Turbo是Gen-3 Alpha家族中的一個信用效率模型,能以更低的成本更快地生成視頻,支持圖像到視頻轉換。
該模型提供了高級攝像機控制功能,允許用戶在使用Gen-3 Alpha Turbo模型並輸入圖像時,指定攝像機運動的方向和強度。攝像機控制有六個運動方向選項:水平移動、垂直移動、平移、傾斜、變焦和滾動,以及一個用於防止攝像機移動的“靜態攝像機”複選框。多個攝像機控制可以組合以實現更複雜的攝像機運動。每個設定的值代表攝像機運動的速度和強度,默認值為0表示該控制類型未激活,數值距離0越遠,輸出中的攝像機運動就越多。攝像機控制值並非剛性,會根據拍攝對象與攝像機的距離而變化。建議將攝像機控制與文本提示結合使用以獲得最佳效果。“靜態攝像機”複選框有助於減少輸出視頻中的攝像機運動,當使用寫實和電影風格的輸入圖像時,此設定將產生最一致的結果。
Gen-3 AlphaTurbo的視頻生成速度比之前的Gen-3 Alpha快7倍,用戶可實時或接近實時地生成視頻(例如11秒生成10秒視頻),且在多數用例中保持與原版相當的性能。
Runway為Gen-3 Alpha Turbo開放了僅限受邀者使用的
API接口,供開發者在套用中構建視頻生成功能。
產品使用
用戶能夠控制攝像機運動,實現平滑環繞和變焦,創造動態的觀看效果。
攝像機控制功能允許用戶指定攝像機運動的方向和強度,包括水平移動、垂直移動、平移、傾斜、變焦和滾動等基本選項,每個設定的值代表攝像機運動的速度和強度,默認值為0表示該控制類型未激活。用戶可以利用水平移動平滑環繞對象,或進行快速變焦,該功能常與文本提示結合使用。
產品優勢
Gen-3 Alpha Turbo的視頻生成速度較原版有所提升。該版本以調整後的價格推出,並向免費用戶開放。Gen-3 Alpha Turbo支持動態控制,具備高級攝像機控制功能,並可進行行業定製,以滿足特定的藝術和敘事需求。
重要事件
2024年8月初,
Runway宣布推出Gen-3 Alpha Turbo版本,該版本視頻生成速度比原版快7倍,並計畫在未來幾天內向免費用戶開放圖像到視頻模型,同時降低了價格。
2024年10月8日,
Runway為其視頻生成大模型Gen-3 Alpha Turbo開放了僅限受邀者使用的API接口,供受邀者在套用中構建視頻生成功能。
2024年11月初,
Runway為Gen-3 Alpha Turbo模型推出高級攝像機控制功能,用戶可以通過設定移動方向和強度,對生成的視頻進行精細的鏡頭運動控制。