Stable Audio Open Small是由Stability AI公司推出的音頻生成AI模型，主要面向移動端設備運行。該模型於2025年5月由Stability AI正式推出，無需依賴雲端處理即可在智慧型手機上執行音頻生成任務。
Stable Audio Open Small是一種基於潛在擴散模型（latent diffusion model）的音頻生成模型，主要由三個組件構成：用於將波形壓縮成可管理序列長度的自編碼器、基於T5的文本嵌入用於文本條件控制，以及在自編碼器潛在空間中運行的基於變換器的擴散模型（DiT）。它能夠根據文本提示生成時長可變（最長11秒）、44.1kHz的立體聲音頻。該模型主要使用 English 語言進行訓練，並在Stability AI Community License下授權，用於商業用途時需遵循特定許可要求。
Stable Audio Open Small採用高效設計，能夠在手機端以本地運算方式生成音頻片段。該模型可在不到8秒的時間內生成最長11秒的音頻內容，適用於快速製作鼓點、樂器音效等短音頻素材。
基本介紹
- 中文名：Stable Audio Open Small
- 所屬公司 ：Stability AI
- 類別：音頻生成AI模型
- 發布時間：2025年5月
發展歷史,主要功能,模型運用,模型訓練,
發展歷史
2025年5月，AI初創公司Stability AI推出音頻生成AI模型Stable Audio Open Small。
主要功能
Stable Audio Open Small無需依賴雲端處理，其高效設計讓它能在智慧型手機上流暢運行。該模型能在不到 8 秒的時間內，在手機上生成最長 11 秒的音頻片段，適用於快速製作鼓點或樂器片段等音效。
模型運用
Stable Audio Open Small 模型通常結合 stable-audio-tools 庫進行推理。使用時，需先下載模型，設定文本和時間條件，然後通過 generate_diffusion_cond 函式生成音頻輸出。在生成過程中，可指定步數、採樣類型等參數。生成的音頻輸出需要進行重新排列、峰值歸一化、裁剪、轉換為 int16 格式，最後保存為音頻檔案。在實現過程中，主要運用了 PyTorch 等庫進行模型操作和音頻處理。
模型訓練
該模型的訓練數據集包含 486492 個音頻記錄，其中 472618 個來自 Freesound，13874 個來自 Free Music Archive（FMA）。所有音頻檔案均在 CC0、CC BY 或 CC Sampling+ 許可下授權。在訓練前，對數據集進行了詳細的著作權分析，以確保不包含未經授權的著作權音樂。對於 Freesound 中的音樂樣本，使用 PANNs 音樂分類器進行識別，將至少 30 秒且預測屬於音樂相關類的機率超過 0.15 的樣本傳送給 Audible Magic 進行進一步的著作權檢測，最終移除了疑似著作權音樂，剩下 266324 個 CC0、194840 個 CC BY 和 11454 個 CC Sampling+ 音頻記錄用於自編碼器訓練。對於 FMA 子集，主要通過元數據搜尋和人工審核的方式，確保不包含著作權內容，最終保留 8967 個 CC BY 和 4907 個 CC0 軌道用於訓練。
