MoMask

MoMask是由阿爾伯塔大學團隊開發的3D人體動作生成AI框架,採用生成式掩碼建模技術,能夠根據文本描述生成高保真度的3D人體動作序列。其核心技術結合分層量化方案和雙向Transformer架構,在HumanML3D數據集上達到0.045的FID指標。該框架支持文本到動作生成、時序修復等任務,並提供Blender外掛程式和WebUI等接口,已入選CVPR 2024並開源,並於2024年12月26日作為CVPR 2024論文成果發布。由於該框架完全依賴文本驅動,無法處理音頻信號,因此在需要與語音節奏同步的套用中,其生成的動作節奏較為靜態。

基本介紹

  • 外文名:MoMask
  • 技術背景:MoBagel
  • 最近更新時間:2023年12月4日
核心功能,產品沿革,對比評估,

核心功能

文本驅動3D動作生成:根據文本描述生成高質量3D人體動作
高精度動作控制:精細控制生成動作的連貫性和逼真度
多平台適配:支持本地/Huggingface/Blender多平台運行
開源可擴展:提供開原始碼支持定製化擴展。

產品沿革

2024年05月03日,阿爾伯塔大學提出文本轉3D骨骼動畫的MoMask框架原型。
2024年10月10日,推出WebUI和Colab線上演示,降低用戶使用門檻。
2024年12月26日,MoMask作為CVPR2024論文成果發布,支持高精度3D動作生成與多平台部署。

對比評估

在2026年4月8日發布的3D數字人動作生成研究SentiAvatar中,MoMask作為對比模型之一參與了評估;定性分析結果顯示,MoMask能夠從文本標籤中部分捕捉動作語義,但由於其模型設計無法獲取語音信息,生成的動作節奏較為靜態,且與音頻的韻律不存在對應關係。

相關詞條

熱門詞條

聯絡我們