Stable Audio Open

Stable Audio Open是Stability AI於2024年6月6日推出的一個開源文本到音頻生成模型。該模型專注於從文本提示生成鼓點、環境聲、擬音等短音頻樣本和音效，最長可達47秒，適用於音樂製作和聲音設計。其架構基於潛在擴散Transformer，並利用T5進行文本編碼。用戶可使用自己的音頻數據對模型進行微調。模型在Hugging Face平台開源，其訓練數據來源於FreeSound和Free Music Archive的音頻庫。

基本介紹

• 軟體名稱：Stable Audio Open
• 開發商：Stability AI
• 軟體授權：非商業研究社區協定許可證
• 發布時間：2024年6月6日 
• 適用場景：音效、短音頻製作  
• 模型架構：基於 transforms 擴散模型（DiT） 
• 訓練數據：48.6萬個音頻樣本 

研發背景

Stability AI於2024年6月6日推出了Stable Audio Open，這是其基於Stable Diffusion文生圖模型技術向音頻領域拓展的開源文本到音頻模型。該模型專注於生成短音頻樣本和音效，如鼓點、環境聲音等，旨在為聲音設計師和音樂家提供工具。訓練數據來自FreeSound和Free Music Archive的486,000個樣本，確保著作權合規。

發展歷程

2024年6月6日，Stability AI立足Stable Diffusion文生圖模型，進一步向音頻領域拓展，推出了 Stable Audio Open，可以基於用戶輸入的提示詞，生成高質量音頻樣本。

2025年7月4日，Stability AI聯合晶片巨頭 Arm 開源了Stable Audio Open Small模型，這是一款專為移動設備最佳化的文本到音頻生成模型。

功能服務

Stable Audio Open是Stability AI推出的開源文本到音頻生成模型，能夠根據用戶輸入的文本提示生成長度最長可達47秒的高質量音頻樣本。它專注於生成用於音樂製作和聲音設計的短音頻片段與音效，例如鼓點、樂器旋律、環境聲音和擬音等。該模型基於擴散變換器（DiT）架構在潛在空間中操作，生成44.1kHz立體聲音頻。模型權重在Hugging Face平台公開，允許用戶使用自己的音頻數據對模型進行微調。Stable Audio Open針對短音頻樣本和音效最佳化，不適合生成完整的歌曲、連貫的旋律或人聲。其訓練數據使用來自FreeSound和Free Music Archive的約48.6萬個採用知識共享（CC）許可的音頻樣本，旨在避免著作權爭議。此外，輕量化版本Stable Audio Open Small（參數量341M）專為移動設備最佳化，支持離線快速生成音頻。

核心技術

Stable Audio Open 是一個基於Transformer架構的潛在擴散模型（Latent Diffusion Model），由三個核心組件構成：自動編碼器，用於將原始音頻波形壓縮為可管理的序列長度；基於 T5（Text-to-Text Transfer Transformer）的文本嵌入模型，用於將用戶輸入的文本提示轉換為文本嵌入；基於 Transformer 的擴散模型（Diffusion Transformer， DiT），在自動編碼器生成的潛在空間中運行，負責處理和最佳化數據。

模型的訓練數據來自 FreeSound 和 Free Music Archive 兩個公開音頻庫，共使用了約 48.6 萬個（具體為 486,492 個）採用知識共享（CC）協定的音頻樣本進行訓練。其中，472,618 個樣本來自 FreeSound，13,874 個樣本來自 Free Music Archive，所有音頻檔案均遵循 CC0、CC BY 或 CC Sampling+ 許可。

為確保訓練數據的合規性，研究團隊採用了嚴格的數據清洗流程。首先，使用基於 AudioSet 類別的 PANNs 音樂分類器識別 FreeSound 數據集中的音樂樣本，隨後將識別出的樣本提交至 Audible Magic 的內容識別服務進行檢測，以標記並刪除其中可能受著作權保護的音樂內容。對於 Free Music Archive 子集，則通過元數據比對大型著作權音樂資料庫進行初步標記，再由人工逐一審核確認。經過上述處理，最終用於訓練的數據包含 266,324 個 CC0、194,840 個 CC-BY 和 11,454 個 CC Sampling+ 音頻記錄（來自 FreeSound），以及 8,967 個 CC-BY 和 4,907 個 CC0 音樂樣本（來自 Free Music Archive）。

根據技術報告，模型在擴散（推理）過程中，DiT 部分約占用 5.9 GB 的顯存（VRAM）；而在解碼階段，將潛在表示渲染為音頻波形時，記憶體占用會上升至約 14.5 GB。為降低解碼記憶體需求，可採用分塊解碼技術，即將潛在序列分割為重疊的塊分別解碼後再重組。Stability AI後續聯合 Arm 推出了專為移動設備最佳化的變體模型Stable Audio Open Small，其參數量從 1.1B 壓縮至 341M，顯著降低了計算需求。

運營模式

Stable Audio Open 在Hugging Face平台開源，可供用戶下載和使用。該模型採用Stability AI非商業研究社區協定許可證，禁止用於商業用途。Stability AI 注重開源和與創意社區合作，以推動音頻生成技術發展。

重要事件

2024年6月6日，Stability AI立足Stable Diffusion文生圖模型，進一步向音頻領域拓展，推出了Stable Audio Open。2025年7月4日，Stability AI聯合Arm正式開源Stable Audio Open Small，一款專為移動設備最佳化的341M參數文本到音頻生成模型。

主要功能

Stable Audio Open 最長可以創建 47 秒的音樂，非常適合鼓點、樂器旋律、環境音和擬聲音效，該開源模型基於 transforms 擴散模型（DiT），在自動編碼器的潛在空間中操作，提高生成音頻的質量和多樣性。