Gen-3 Alpha 是Runway訓練的一系列模型中的首個，由AI視頻生成初創公司Runway於2024年6月宣布即將推出，它在新的基礎設施上訓練，專為大規模多模態訓練而建。它在保真度、一致性和動作方面相較於 Gen-2 有重大改進，並朝著構建通用世界模型邁進了一步。該模型能夠生成具有豐富動作、手勢和情感的表達性人物角色，為敘事提供了新的機會。Gen-3 Alpha支持文本到視頻、圖像到視頻和文本到圖像等多種生成模式，並提供運動畫筆、高級相機控制、導演模式等控制工具，能產生解析度高達1080p的視頻。
2024年7月，Gen-3 Alpha正式向公眾開放，支持生成最長10秒的720p視頻。2024年9月，Runway發布Gen-3 Alpha Extensions功能，將視頻生成時長延長至40秒。2024年，Runway推出Gen-3 Alpha Turbo版本，將視頻生成速度提升7倍。Runway推出API，允許開發者將Gen-3 Alpha Turbo集成到應用程式中。
基本介紹
- 外文名：Gen-3 Alpha
- 技術背景：Runway
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
Gen-3 Alpha是Runway於2024年6月推出的新一代視頻生成模型，是Gen-3系列模型中的首個發布模型。該模型旨在構建通用世界模型，與上一代Gen-2相比，在視頻生成的保真度、一致性和運動性能方面實現了顯著提升。
模型基於為大規模多模態訓練而構建的全新基礎設施訓練而成。其研發工作是由研究科學家、工程師和藝術家組成的跨學科團隊共同完成的，旨在讓模型理解和詮釋各種藝術風格與電影術語。
模型接受了視頻和圖像的聯合訓練，並使用了高度描述性、時間密集的字幕數據，以實現富有想像力的場景過渡和精確的關鍵幀控制。
Gen-3 Alpha旨在為Runway的文本轉視頻、圖像轉視頻、文本轉圖像工具以及運動畫筆、高級相機控制、導演模式等現有控制功能提供支持，以實現對視頻結構、風格和運動的更精細控制。後續，Runway推出了Gen-3 Alpha Extensions功能，將視頻生成時長延長至40秒。
發展歷程
2024年6月17日（當地時間），AI視頻生成初創公司Runway在官網宣布，即將推出新的視頻生成模型Gen-3 Alpha。
2024年7月2日/3日，Gen-3 Alpha正式向所有付費用戶開放公測。
2024年7月底，Gen-3 Alpha的圖生視頻功能正式上線，支持最長11秒視頻生成。
2024年8月初，Runway為Gen-3 Alpha的圖生視頻功能增添了首尾幀控制功能。
2024年9月2日，Runway發布Gen-3 Alpha Extensions功能，將視頻生成時長延長至40秒。
2024年，Runway推出Gen-3 Alpha Turbo版本，將視頻生成速度提升7倍。
2026年3月17日，Runway宣布推出Runway API，允許開發者將Gen-3 Alpha Turbo集成到其應用程式和產品中。
核心技術
Gen-3 Alpha是Runway在其為大規模多模態訓練構建的全新基礎設施上訓練的一系列模型中的首個發布模型。
與上一代Gen-2相比，Gen-3 Alpha在視頻生成的保真度、時間一致性以及運動表現方面均有顯著改進，被認為是向構建“通用世界模型”邁出的重要一步。模型經過高度描述性、時間密集的字幕訓練，能夠實現富有想像力的場景過渡，並對場景中的元素進行精確的關鍵幀控制。該模型擅長生成具有多種動作、手勢和情感的富有表現力的逼真人類角色。它支持文本到視頻、圖像到視頻、文本到圖像等多種生成模式，併兼容運動畫筆、高級相機控制、導演模式等精細控制工具。
Gen-3 Alpha經過視頻和圖像的聯合訓練。其訓練使用了高度描述性、時間密集的字幕與視頻數據進行匹配。模型的開發由研究科學家、工程師和藝術家組成的跨學科團隊共同完成。
該模型能夠生成高精細度的視頻，支持生成720p解析度、最長10秒的視頻。後續Runway推出了Gen-3 Alpha Extensions功能，將視頻生成時長延長至40秒。此外，Runway還發布了Gen-3 Alpha Turbo版本，將視頻生成速度提升了7倍，並推出了API接口。
運營模式
Gen-3 Alpha採用訂閱制收費模式，不提供免費試用。
該模型於2024年6月發布後，首先面向付費訂閱用戶及創意合作夥伴開放試用，並於2024年7月正式向所有用戶全面開放。面向公眾開放的是Gen-3系列中最小的公開模型。
2026年3月，Runway宣布推出API，允許開發者將Gen-3 Alpha Turbo集成到其應用程式和產品中，並已有如Omnicom等戰略合作夥伴使用。Runway還與各大娛樂和媒體組織合作，為其提供定製化的Gen-3模型版本，以滿足特定的藝術和敘事要求。
核心團隊
Gen-3 Alpha由Runway公司的一支跨學科團隊開發，該團隊由研究科學家、工程師和藝術家組成，旨在讓模型能夠理解和詮釋各種藝術風格與電影術語。
Runway聯合創始人兼首席技術官（CTO）Anastasis Germanidis曾透露，Gen-3 Alpha將在發布後首先面向付費用戶提供，隨後再向免費用戶開放。
Runway聯合創始人兼執行長（CEO）Cristóbal Valenzuela曾宣布其圖生視頻功能正式上線。為推進模型的產品化與商業化，Runway還推出了API，允許開發者將Gen-3 Alpha Turbo集成到其應用程式中，並由專門的團隊負責與Omnicom等戰略夥伴合作。
重要事件
2024年6月，Runway宣布即將推出新一代視頻生成模型Gen-3 Alpha，並展示了其生成的演示視頻。
2024年7月初，Gen-3 Alpha正式面向所有用戶開放使用，需訂閱付費套餐。
2024年7月底，Gen-3 Alpha的圖生視頻功能正式上線。
2024年8月初，Runway為Gen-3 Alpha的圖生視頻功能增加了首尾幀控制。
2024年9月，Runway發布Gen-3 Alpha Extensions功能，將視頻生成時長延長至40秒，並面向所有用戶開放。
