Mochi 1 AI是由Genmo公司於2024年10月推出的開源AI視頻生成模型，基於非對稱擴散變壓器（AsymmDiT）架構，擁有100億參數。該模型能夠根據文本提示生成視頻，支持生成長達5.4秒、每秒30幀的480P解析度視頻，並具備文本對齊能力和時間一致性。作為開源工具，Mochi 1可套用於內容創作等領域，並支持圖像提示集成。不過，該模型在處理複雜運動時可能出現視覺扭曲，且在動畫內容生成上表現有限。
Genmo公司於2022年12月成立，並在2024年完成了2840萬美元的A輪融資。Mochi 1模型採用了視頻變分自編碼器技術來壓縮視頻數據以降低設備需求，並計畫在未來推出支持720p解析度的Mochi 1 HD版本。
基本介紹
- 外文名：Mochi 1 AI
- 最近更新時間：2024年10月23日
研發背景,發展歷程,技術特點,核心功能,重要事件,核心團隊,套用領域,
研發背景
Genmo公司於2022年12月由Paras Jain和Ajay Jain共同創立。Mochi 1的開發旨在構建一個能夠想像任何事物的世界模擬器，是Genmo實現其願景的第一步。其團隊核心成員來自DDPM（去噪擴散機率模型）、DreamFusion和Emu Video等項目。
發展歷程
Genmo AI由Paras Jain與Ajay Jain於2022年12月共同創立。
2024年10月23日（或24日），Genmo正式發布其開源AI視頻生成模型Mochi 1的研究預覽版，並宣布開源。模型基於非對稱擴散變壓器（AsymmDiT）架構，擁有100億參數。
除Mochi 1 HD外，團隊還在開發圖像到視頻功能。
技術特點
Mochi 1 AI基於Genmo自研的非對稱擴散變壓器（AsymmDiT）架構構建，該架構專注於視覺推理，處理視頻數據的參數量是處理文本數據的四倍，模型擁有高達100億個參數，是截至發布時規模最大的開源視頻生成模型。
為降低計算資源需求，Mochi 1採用視頻變分自編碼器（VAE）技術，可將視頻數據在空間和時間維度上壓縮128倍，其上下文視窗高達44,520個視頻token，並具備完整的3D注意力機制。
在文本處理方面，Mochi 1僅使用單個T5-XXL模型對文本提示進行編碼，該模型採用Apache 2.0開源許可協定，可免費用於個人和商業用途。
核心功能
物理真實動態表現：模擬自然流暢的物理運動
精準文本對齊：文本描述生成匹配視頻
開源模型定製：允許開發者自由修改代碼
快速視頻生成：幾分鐘內產出高質量視頻
人類動作生成：電影級流暢表情與動作。
重要事件
2024年10月，Genmo正式發布並開源其視頻生成模型Mochi 1的研究預覽版，成為當時開源視頻生成模型的SOTA（State-of-the-art）。2024年11月，Genmo宣布完成2840萬美元的A輪融資，由Rick Yang、NEA領投。
核心團隊
Genmo AI由谷歌研究員Paras Jain與Ajay Jain於2022年12月共同創立，Ajay Jain擔任公司的聯合創始人兼首席技術官（CTO）。公司的研發團隊匯聚了來自DDPM（去噪擴散機率模型）、DreamFusion和Emu Video等前沿項目的核心成員，並由多位頂尖技術專家提供諮詢支持，包括Ion Stoica（Databricks和Anyscale的執行主席兼聯合創始人）、Pieter Abbeel（Covariant的聯合創始人、OpenAI的早期團隊成員）以及Joey Gonzalez（語言模型系統的先驅、Turi的聯合創始人）。
套用領域
Mochi 1的開源在各個領域開闢了新的可能性。在研發領域，其開源性質允許研究者和開發者深入探索視頻生成領域的前沿方法。在產品開發領域，開發者可以利用模型在娛樂、廣告、教育等領域構建創新應用程式。在創意表達領域，藝術家和創作者能夠通過AI生成的視頻將他們的願景變為現實。在機器人領域，模型可用於生成合成數據，用於在機器人、自動駕駛汽車和虛擬環境中訓練AI模型。
