ZipVoice是小米集團AI實驗室新一代Kaldi團隊於2025年9月12日發布的基於Flow Matching架構的系列語音合成模型，包括零樣本單說話人語音合成模型和零樣本對話語音合成模型ZipVoice-Dialog。
該系列模型將Zipformer架構引入語音合成任務作為骨幹網路，結合平均上採樣策略與Flow Distillation等技術。ZipVoice-Dialog通過引入說話人輪次嵌入向量等技術，支持雙人對話語音的合成。其代碼與模型已開源。
基本介紹
- 中文名：ZipVoice
- 發布單位：小米集團AI實驗室
模型簡介,研發背景,核心技術,發展歷程,核心團隊,套用與開源,運營模式,
模型簡介
ZipVoice是小米集團AI實驗室新一代Kaldi團隊於2025年9月12日發布的、基於Flow Matching架構的系列語音合成(TTS)模型。該系列包括ZipVoice（零樣本單說話人語音合成模型）、ZipVoice-Distill（蒸餾版）、ZipVoice-Dialog（對話生成模型）和ZipVoice-Dialog-Stereo（立體聲對話模型）。
ZipVoice解決了現有零樣本語音合成模型的參數量大、合成速度慢的痛點。模型參數量約為123M，具有輕量化、高推理速度、高語音質量的特點。支持中文和英文的零樣本語音合成，具備高質量語音克隆能力。
研發背景
傳統零樣本語音合成模型存在參數量大、合成速度慢的問題，限制了其在輕量化、高速度要求場景的套用；同時，對話語音合成模型存在穩定性和推理速度上的瓶頸。小米集團AI實驗室對此進行了相關研究。有研究將原本為自動語音識別（ASR）設計的Zipformer架構引入TTS任務，作為模型骨幹網路，以探索更高效的建模方式。
核心技術
ZipVoice系列模型基於Flow Matching生成架構，其核心骨幹網路為Zipformer，該架構最初為自動語音識別（ASR）任務設計，首次被引入TTS任務。Zipformer基於U-Net的多尺度高效率結構、卷積與注意力機制的協同處理以及注意力權重的多次復用等設計，高度適配語音合成任務，實現了模型的高效建模。得益於這一設計，相比基於DiT的語音合成模型，在性能相似的情況下，ZipVoice的參數量減少了約63%。
針對文本與語音時長對齊的挑戰，模型採用了平均上採樣策略，即假設每個文本token時長相等並進行均勻上採樣，為模型提供穩定的初始對齊線索，從而提升訓練收斂速度和穩定性。
在推理加速方面，模型採用了Flow Distillation（流蒸餾）技術，通過教師-學生框架結合Classifier-free Guidance技術，訓練學生模型以一步推理逼近教師模型輸出，從而將推理步數降至4-8步，實現了快速推理。
對於更複雜的對話語音合成場景，ZipVoice-Dialog模型引入了說話人輪次嵌入（Speaker-Turn Embedding），為模型提供細粒度的說話人身份提示，以降低多角色切換建模的難度。訓練上採用了課程學習策略，先使用單說話人數據預訓練模型以夯實語音-文本對齊能力，再在對話語音數據上進行微調，以解決複雜對話場景下的對齊問題。此外，通過權重初始化、單聲道語音正則化及說話人互斥損失等技術，ZipVoice-Dialog被擴展為支持雙聲道輸出的ZipVoice-Dialog-Stereo，提升了對話的空間沉浸感。
發展歷程
2025年6月16日，ZipVoice和ZipVoice-Distill模型發布。
2025年7月14日，ZipVoice-Dialog和ZipVoice-Dialog-Stereo兩款對話生成模型發布。
2025年9月12日，小米集團AI實驗室新一代Kaldi團隊正式對外發布基於Flow Matching架構的ZipVoice系列語音合成（TTS）模型，包括ZipVoice（零樣本單說話人語音合成模型）和ZipVoice-Dialog（零樣本對話語音合成模型）。
核心團隊
ZipVoice系列模型的研發主體為小米集團AI實驗室新一代Kaldi團隊。該團隊核心成員包括朱涵和姚增偉。在2025年RTE大會等技術分享中，朱涵重點介紹了ZipVoice模型的高效架構設計，如引入Zipformer、平均上採樣策略及Flow Distillation加速技術，姚增偉則介紹了配套的Flow2GAN聲碼器技術。該團隊專注於開源語音技術項目，包括K2、LHCTSE及Zipformer等。
套用與開源
ZipVoice系列模型憑藉其輕量化、高速度和高語音質量的特性，為輕量化、高速度要求的語音互動套用場景提供了新的解決方案，其套用場景包括智慧型個人助理（如智慧型手機、智慧型音箱）、車載語音互動系統、有聲內容創作（如有聲書）、視頻自動配音以及語言教育輔助等。對話語音合成模型ZipVoice-Dialog能夠合成雙人對話語音，支持自然且準確的說話人切換，適用於AI播客、虛擬角色對話、智慧型客服與虛擬人等需要自然對話互動的場景。
為促進語音合成技術的發展與套用，小米集團AI實驗室已將ZipVoice系列模型（包括ZipVoice、ZipVoice-Distill、ZipVoice-Dialog及ZipVoice-Dialog-Stereo）的模型權重、訓練與推理代碼在GitHub和Hugging Face等平台開源。同時，團隊配套開源了大規模對話語音數據集OpenDialog，該數據集包含約6.8k小時的中英文對話數據。
運營模式
ZipVoice系列模型及其核心數據集OpenDialog已在GitHub、Hugging Face等平台開源，公開了模型權重、代碼及配套數據集。在開源對話生成模型領域，存在FireRedTTS-2、MoonCast、MOSS-TTSD等競品。有評測指出，FireRedTTS-2在各項主客觀指標上均優於MoonCast、ZipVoice-Dialogue、MOSS-TTSD等系統。
