Genmo是由Paras Jain與Ajay Jain於2022年底創立的AI視頻生成平台，核心產品為開源視頻生成模型Mochi 1，採用非對稱擴散變換器（AsymmDiT）架構，擁有100億參數，採用Apache 2.0許可證開源。該平台致力於開發先進的視頻世界模型。
平台提供文本到視頻、圖像到視頻、3D模型生成功能及線上互動平台（Playground）。Mochi 1模型通過視頻變分自編碼器技術壓縮數據，需至少4塊Nvidia H100 GPU運行，也可在消費級顯示卡上運行，在Hugging Face平台開源模型權重。Genmo完成2840萬美元A輪融資，由Rick Yang、NEA等領投，計畫推出支持720p解析度的Mochi 1 HD版本，並開發圖像到視頻功能。
基本介紹
- 外文名：Genmo
- 類型：智慧型創意平台
公司簡介,發展歷程,核心技術,融資情況,開源與社區,影響與評測,功能,
公司簡介
Genmo是由伯克利AI博士和谷歌研究人員帕拉斯·傑恩（Paras Jain）與阿賈伊·傑恩（Ajay Jain）於2022年底創立的AI視頻生成平台。該平台提供文本到視頻、圖像到視頻及3D模型生成功能，公司的使命是開發視頻世界模型，以理解物理世界，其核心定位為AI視頻生成創企。2024年，Genmo完成了由NEA領投的A輪融資，總額達2840萬美元（亦有報導稱至少3000萬美元）。2024年10月，公司發布了開源視頻生成模型Mochi 1，該模型基於非對稱擴散變換器（AsymmDiT）架構，擁有100億參數，是規模較大的開源視頻生成模型之一，在運動質量和提示遵循性方面受到關注。公司團隊匯聚了DDPM（去噪擴散機率模型）、DreamFusion和Emu Video等前沿項目的核心成員，並獲得了包括Ion Stoica、Pieter Abbeel等在內的技術專家的顧問支持。
發展歷程
2022年底，Genmo由伯克利AI博士和谷歌研究人員帕拉斯·傑恩（Paras Jain）與阿賈伊·傑恩（Ajay Jain）共同創立。
2023年，公司陸續推出圖像轉視頻模型Genmo Alpha和AI協同創作工具Genmo Chat。同年10月，正式發布文本轉視頻模型Genmo Replay v0.1，支持用戶通過簡單文本描述生成高質量視頻片段。
2024年2月，公司獲得由NEA領投的至少3000萬美元融資。
2024年10月，Genmo發布其開源視頻生成模型Mochi 1。該模型基於非對稱擴散變換器（AsymmDiT）架構，擁有100億參數，是當時公開發布的最大開源視頻生成模型，支持480p視頻生成。
2024年11月，公司完成2840萬美元的A輪融資，由NEA等機構領投。同時，公司預告了支持720p視頻生成、具有更高保真度的Mochi 1 HD版本將於年底前發布。
核心技術
Genmo的核心技術集中體現在其開源的文本到視頻生成模型Mochi 1上。該模型發布於2024年10月，採用Apache 2.0許可協定。Mochi 1基於Genmo自主研發的非對稱擴散變換器（AsymmDiT）架構構建，擁有100億個參數，是迄今為止最大的開源視頻生成模型。其架構專注於視覺推理，處理視頻數據的參數量是處理文本數據的四倍。
Mochi 1是完全從頭開始訓練的，同時提供了簡單、可以自由修改的架構。模型引入了視頻變分自編碼器（VAE）技術，能夠將視頻數據壓縮至原始大小的1/128，以降低生成過程中的記憶體需求。Mochi 1隻使用單個T5-XXL對提示進行編碼，其上下文視窗高達44,520個視頻token，並具有完整的3D attention。
Mochi 1在運動質量、提示詞遵循能力和人類渲染方面表現出色。要在本地運行該模型，至少需要配備4塊Nvidia H100 GPU。目前發布的Mochi 1基礎版本支持生成480p視頻，其更高清的Mochi 1 HD版本計畫於2024年底推出，將支持720p視頻生成並最佳化運動細節。
融資情況
2024年2月，Genmo從NEA籌集至少3000萬美元的資金。
2024年11月，Genmo宣布完成2840萬美元的A輪融資，由Rick Yang、NEA領投，The House Fund、Gold House Ventures、WndrCo、Eastlink Capital Partners、Essence VC以及多位天使投資人跟投。
開源與社區
Genmo的核心視頻生成模型Mochi 1於2024年10月開源，是公開發布的開源視頻生成模型之一。該模型的完整權重、代碼及ComfyUI工作流可在GitHub和Hugging Face平台獲取，採用Apache 2.0許可證。
此外，Genmo提供了線上Playground用於測試Mochi 1的文本到視頻生成功能，免費賬戶存在使用限制。通過開源模型與技術，Genmo希望促進開發者參與和AI視頻生成領域的發展。
影響與評測
有業界反饋提及Mochi 1在運動質量、提示遵循性和人類渲染方面有所表現。在內部測試中，Mochi 1的表現被置於與Runway、Luma、可靈等閉源模型相近的討論範疇。在第三方基準測試中，研究對包括Mochi 1在內的六個文本生成視頻模型進行了評估。該測試使用PMM評估指標對Mochi 1、OpenSora、CogVideoX等多個模型進行了評測。
功能
AI視頻生成：文本或圖像生成創意視頻
多模態創作工具：支持圖像特效與3D模型生成
智慧型協作編輯：團隊協同創作視頻內容
社交平台集成：一鍵分享至主流社交平台
開源模型支持：Mochi 1百億參數視頻生成
