NVIDIA Maxine 是NVIDIA發布的一套由 GPU 加速的 AI 軟體開發套件 (SDK) 和雲原生微服務，用於部署經過最佳化和加速的 AI 功能，可達到實時增強音頻、視頻和增強現實 (AR) 效果的目的。
在 GTC 2022 上，NVIDIA 推出了 Maxine 音頻效果微服務的搶先體驗版。此外，還推出了新的 Maxine SDK 功能，包括發言者聚焦和人臉表情估計，並正式推出了眼神交流功能。
基本介紹
- 軟體名稱：NVIDIA Maxine
- 開發商：NVIDIA
簡介,功能,套用領域與案例,功能更新,可用性,
簡介
NVIDIA Maxine 包括三個 AI SDK，包括：NVIDIA Video Effects SDK，NVIDIA 增強現實 SDK和NVIDIA Audio Effects SDK，涵蓋了視頻效果、音頻效果和增強現實領域 — 每個都配有預訓練好的深度學習模型，使開發者可以快速構建或增強其實時應用程式。
Maxine 的生產版本已在 NVIDIA AI Enterprise 中推出。
新發布的 Maxine AI 開發者平台通過各種功能來提高用戶的靈活性、參與度和效率，改變了先進的實時視頻會議套用的創建方式。通過 NVIDIA AI Enterprise 軟體平台，Maxine 允許開發者利用 AI 驅動的最新功能（例如提高視頻和音頻質量和增強現實效果），使用戶能夠通過日常視頻通話獲得互動協作體驗。
功能
搶先體驗版的 Audio Effects 微服務中包含四種先進的音頻功能：
• 背景噪音消除：使用 AI 模型消除多種常見的背景噪音，同時保留說話者的自然聲音。
• 房間回聲消除：使用 AI 模型消除音頻中的混響，恢復說話者聲音的清晰度。
• 音頻超高解析度：提高音頻信號的時間解析度，改善音頻質量。該功能支持 8 kHz 到 16 kHz 以及 16 kHz 到 48 kHz 的上採樣。
• 聲學回聲消除：消除輸入音頻流中的實時聲學設備回聲，從而去除不匹配的聲對和雙聲。藉助基於 AI 的技術，Maxine 實現了比傳統數位訊號處理算法更有效的回聲消除。
AR SDK 新功能：
• 眼神交流：通過預估和將視線與攝像頭對齊來模擬眼神交流。
• 人臉表情估計：追蹤人臉並推斷主體所呈現的表情。
並增強了以下 AR 功能：
• 身體姿態估計：以 2D 和 3D 形式預測和追蹤人體的 34 個關鍵點，並且現已支持多人追蹤。
• 面部特徵點追蹤：使用 126 個關鍵點來識別面部特徵和輪廓。現已可使用“畫質”模式來追蹤由於頭部運動和表情造成的頭部姿勢和面部變形（實時追蹤的自由度為 3 度），實現了更高質量的跟蹤效果。
• 人臉格線：以高達 3000 個頂點和 6 個自由度的 3D 格線表示人臉，並且包括 USC 創意技術研究所的 3D 可變形模型。
Maxine 搶先體驗版中將發布的功能有：
- Interpreter：將中文、俄語、法語、德語和西班牙語翻譯成英語，同時將用戶影像轉換成他們在說英文的動畫形象。
- Voice Font：使用戶能夠套用發言者的聲音特徵並將其映射到輸出的音頻中。
- Audio Super Resolution：通過提高音頻信號的時間解析度和擴展頻寬來提升音頻質量。該功能支持從8,000Hz到16,000Hz以及從16,000Hz到48,000Hz的上採樣，在更新後還減少了 50% 的延遲，提高了 2 倍的吞吐量。
- Maxine Client：將 Maxine 微服務的 AI 功能加入到 PC 上的視頻會議中。該套用針對低延遲流式傳輸進行了最佳化，並將使用雲來滿足其所有 GPU 計算需求。瘦客戶端將於2023年秋季在Windows上推出，之後還將增加對其他作業系統的支持。
套用領域與案例
- 遠程工作
· Pexip聯合多家視頻協作領域的企業將 Maxine 音頻降噪技術融入其“空間”套用。
· Headroom 使用 AI 來解決視頻會議的分神問題，參與者可在會議期間專注於互動，包括在有疑問、記筆記、轉錄和智慧型會議總結時進行標記。
- 人臉識別
· Touchcast，使用 Maxine 的超解析度功能來將1080p視頻流轉換並呈現為4K，將 AI 和混合現實相結合，來重塑虛擬活動。
· Notch 公司創建的工具可為現場活動提供實時視覺效果和動態圖形，Maxine 為它提供 AI 驅動的實時面部和身體追蹤以及背景移除功能。
- 視頻流領域
· BeLive使用 Maxine 在雲端處理視頻流，使得客戶不必購買昂貴的設備，就可以完成高質量的背景替換，無需擔憂他們在客戶端中運行的硬體情況。
· OBS 是一個領先的流式傳輸和錄製平台，一個免費的開源軟體解決方案，被廣泛套用於遊戲流式傳輸和直播製作。NVIDIA RTX GPU 的用戶可以在製作過程中利用噪音消除功能提高音頻清晰度。
功能更新
• Maxine 產品功能現已更新，其中包括：
1. 目光接觸：改進後的目光接觸模型通過自然的眼球運動提供視線重定向，提升與會者的參與感。
2. 語音字型：這種新模型會將說話者的聲音與目標聲音匹配，同時保持語言信息和韻律（節奏和語氣）不變。
3. 背景去噪（BNR）2.0：該模型改進了人類聽力和語言編碼的降噪功能，特別是降低了編碼誤字率。
• 在 2024 春季可搶先體驗的新功能包括：
1. 語音實時肖像：該模型讓用戶能夠通過直接語音或任何音源來驅動自己的肖像，讓自己在電話會議期間始終處於良好狀態。
2. 演播室語音：該模式可為普通耳機、筆記本電腦和桌上型電腦麥克風提供高端演播室麥克風的聲音，使用戶在電話會議期間始終保持優良的音質。
可用性
了解有關 NVIDIA Maxine 的更多信息，NVIDIA Maxine 現可通過 NVIDIA AI Enterprise 獲取。
