Audiobox是Meta公司於2023年12月推出的多模態AI音頻生成模型，基於Voicebox技術框架升級疊代而來。該模型支持語音和自然語言文本雙模態輸入，具備環境音效合成、自然語音生成、音頻智慧型編輯三大核心功能。通過自監督學習模型Audiobox SSL和"流量比對"擴散模型等技術，實現聲音風格轉換、噪音消除、音頻片段填充等高級操作。其生成的音頻在音質自然度與內容準確度方面優於AudioLDM2、VoiceLDM等同類模型。目前已向科研機構開放測試，計畫套用於影視製作、遊戲開發、有聲讀物等創意領域。
基本介紹
- 開發公司：Meta（原Facebook）
- 首次發布時間：2023年12月
- 核心技術：自監督學習模型
- 輸入方式：語音+文本雙模態
- 套用領域：影視、遊戲、播客等專業音頻創作
- 當前狀態：測試階段
技術架構,核心功能特性,性能優勢,套用場景,發展歷程,技術限制,
技術架構
採用分層模型體系架構，包含：
- Audiobox SSL：基於自監督學習的底層音頻表征模型，負責提取聲音特徵並建立多模態關聯
- 語音生成模組：專攻自然對話語音合成，支持情緒表達和場景模擬（如教堂回聲環境）
- 音效生成模組：處理環境聲景創建，能同步生成雷暴雨聲、鳥鳴流水等複雜音效
- 智慧型編輯引擎：整合"引導聲音"機制實現音頻片段填充和風格化重構
核心功能特性
- 雙模態輸入：
- 支持上傳參考音頻樣本定義音色特徵
- 通過自然語言文本描述創作需求（如"帶有緊張情緒的男性旁白"）
生成多樣性：
- 可輸出單一聲軌或混合多聲道音頻
- 支持生成時長超過10分鐘的高保真音頻
智慧型編輯：
- Audiobox是Meta推出的AI聲音生成模型，支持語音及文字同時輸入，具備音頻生成與編輯功能
- 實時調整語音特徵參數（語速、音調、情感強度）
- 實現音頻片段的上下文感知填充
性能優勢
2023年12月對比測試顯示：
- 比Voicebox提升30%的語音風格相似度
- 音頻質量評分超過AudioLDM2
- 文本語義匹配準確率高於TANGO模型在噪聲環境下生成的自然語音MOS評分達到4.2分（5分制）
套用場景
- 影視製作：快速生成特定場景背景音樂與環境音效
- 遊戲開發：生成環境音效與自然對話語音
- 輔助技術：支持個性化語音內容創作與無障礙輔助套用
- 教育領域：支持生成多語言語音內容
- 商業套用：支持語音與文字雙模態輸入生成聲效，具備音頻編輯能力
發展歷程
- 2023年12月：發布基礎模型Voicebox，確立音頻生成技術路線
- 2023年12月：正式推出Audiobox並開放學術測試許可權
- 2023年12月：擴展支持中文、西班牙語等12種語言
- 2024年3月：集成數字水印技術防止音頻濫用
- 2024年12月12日：完成多模態互動界面升級，提升非專業用戶操作體驗
技術限制
當前版本存在以下局限性：
- 生成高保真音頻需消耗8GB以上顯存
- 複雜聲景合成耗時超過3分鐘/分鐘音頻
- 情感表達準確率在非英語語種中下降約15%
- 需通過API密鑰訪問，暫未開放本地部署方案
