SongGeneration2

SongGeneration2是騰訊公司與清華大學於2026年3月9日聯合發布的音樂基礎模型。

該模型採用混合LLM-擴散架構，針對AI音樂核心痛點實現高音樂性、高歌詞準確性和強可控性，音素錯誤率低至8.55%。模型參數從20億擴展至40億，開源的SongGeneration-v2-large模型支持中英文等多語種生成，並可通過文本描述、音頻提示和風格預設提供控制。該模型可在配備22GB顯存的消費級硬體上本地流暢運行，實現約0.82的RTF，一分鐘內可生成完整歌曲。在多項評估中，其表現優於同期主流開源模型。

基本介紹

• 外文名：SongGeneration2
• 發布時間：2026年3月9日 
• 活動類型：音樂生成

發布與研發團隊

2026年3月9日，由騰訊與清華大學人機語音互動實驗室聯合研發的音樂基礎模型SongGeneration 2正式面世。該模型由騰訊公司與清華大學聯合發布，並已在Hugging Face平台開源。

核心突破

SongGeneration2針對AI音樂生成中的問題，在以下幾個方面有所改進：

音樂性：該模型能夠處理多軌編曲，生成的作品具有空間層次感。

歌詞準確性：模型提升了咬字清晰度，其音素錯誤率（PER）為8.55%。作為對比，部分商業模型的音素錯誤率為12.4%。

可控性：通過文本描述或音頻提示，模型可依據用戶意圖生成特定風格與情緒的音樂。

這些改進基於其技術架構與訓練策略。SongGeneration2採用了混合式LLM-擴散架構與分層表征設計，模型參數從2B擴展至4B。其訓練策略進行了系統性演進。

技術架構

該模型採用“雙核”驅動的架構：其模型參數已從2B擴展至4B，並採用了名為“混合式LLM-擴散架構”的具體設計。

1. 作曲大腦（LeLM）：一個負責規劃音樂的全局結構與演唱細節的語言模型，解決“怎么唱”的問題。
2. 高保真渲染器（Diffusion）：在語言模型的指導下，負責合成極其複雜的聲學細節，將規劃轉化為高保真音頻。兩者的協同工作，輔以首創的分層表征技術（混合表征與多軌表征並行建模），共同兼顧了旋律的穩定性與音質的細膩度。

該架構支持中英文等多語種生成，並允許用戶通過文本描述、音頻提示和風格預設等多種方式進行細粒度控制。

性能表現

SongGeneration 2的音素錯誤率(PER)為8.55%。

在多個核心指標上，SongGeneration 2的表現優於包括ACE-Step 1.5、HeartMula、YUE、LeVo以及DiffRhythm 2在內的部分主流開源模型。

其整體生成質量被認為達到了商業級水平。在整體質量、旋律、編曲等多個維度上，其表現與部分商業模型相近，其PER數據優於Suno v5等模型。

該模型可在配備22GB顯存的消費級硬體上本地運行，其時實率因子(RTF)約為0.82。

開源

包含40億參數的模型權重已在Hugging Face平台發布。項目同時提供了線上演示版本。該模型對硬體要求相對較低，可在配備約22GB顯存的硬體上運行，其實時因子約為0.82，生成一首完整歌曲約需1分鐘，這有助於降低AI音樂創作的技術門檻。

此外，項目還提供了v2 larger Q6_K等量化版本。

套用示例

一種基於ComfyUI的工作流整合了SongGeneration 2音樂生成模型與LTX-2.3視頻生成模型，能夠依據文本內容生成配套的音樂與視頻素材。該工作流執行分為音樂生成與視頻生成兩個主要階段。在音樂生成階段，需在ComfyUI中使用SongGeneration Loader節點載入v2 larger Q6_K量化版模型，並在對應節點輸入歌詞文本且需注意使用英文標點，同時配置音樂的性別、風格及情緒等參數以確定生成基調。該流程需要配備顯存較大的顯示卡（例如24GB）以保證運行。

未來展望

根據相關計畫，未來將推出支持12G顯存、RTF約為0.69的Medium模型，並逐步開源自動化評估框架等核心組件。