SoulX-Singer

SoulX-Singer是由Soul App AI團隊聯合吉利汽車研究院人工智慧中心、天津大學視聽覺認知計算團隊和西北工業大學音頻語音與語言處理研究組開源的一款零樣本歌聲合成模型。該模型面向真實套用場景設計,基於超過42000小時的高質量歌聲數據訓練,覆蓋多語言、多音色及多種演唱風格,在穩定性、可控性與泛化能力方面表現較好。

SoulX-Singer採用基於Flow Matching的生成建模範式,將歌聲合成問題建模為音頻補全任務,並引入了note級別的對齊機制以實現精細控制。模型支持基於Music Score(MIDI)和基於Melody的兩種控制方式,當前支持國語、英語和粵語三種語言的歌聲合成。在多項評測中,該模型在語義清晰度、歌手相似度、基頻一致性及整體合成質量等維度上取得較好成績。

研發背景,核心技術,運營模式,

研發背景

Soul App AI團隊(Soul AI Lab)聯合吉利汽車研究院人工智慧中心(AIC)、天津大學視聽覺認知計算團隊和西北工業大學音頻語音與語言處理研究組(ASLP@NPU),於2026年2月正式開源了歌聲合成模型SoulX-Singer。該模型的發布旨在填補零樣本歌聲合成(SVS)領域的技術空白,推動該技術在真實工業套用場景中的落地。SoulX-Singer的核心目標是在未見過歌手音色的情況下,實現穩定、自然且高度可控的歌聲生成。

核心技術

SoulX-Singer採用基於Flow Matching的生成建模範式,將歌聲合成問題建模為音頻補全任務。針對歌聲合成中歌詞、旋律、發聲強耦合的特點,模型在建模階段顯式引入了音符級別的對齊機制,通過構建歌詞、MIDI音符與聲學特徵之間的精細對齊關係,實現對每個音符起止時間、音高及持續時長的準確建模和獨立控制。該模型得益於超過42000小時的高質量、多語言、多音色、多演唱風格的歌聲數據進行訓練。
在生成控制方面,SoulX-Singer同時支持基於Music Score(MIDI)和基於Melody的兩種歌聲合成控制方式。在GMO-SVS和SoulX-Singer-Eval數據集上的評測顯示,其在語義清晰度、歌手相似度、基頻一致性及整體合成質量上優於此前相關工作。

運營模式

SoulX-Singer是一個完全開源的模型。SoulX-Singer的技術報告已發布於arXiv預印本平台,原始碼已在GitHub平台開源,模型權重也已上架Hugging Face平台,供全球研究者和開發者免費使用。該模型的發布延續了Soul AI團隊的開源傳統,該團隊此前已陸續開源了播客語音合成模型SoulX-Podcast、實時數字人生成模型SoulX-FlashTalk。

相關詞條

熱門詞條

聯絡我們