基本介紹
- 外文名：F5-TTS
- 最近更新時間：2024年11月5日
簡介,發展歷史,核心技術,運營模式,核心團隊,
簡介
F5-TTS是由上海交通大學和劍橋大學聯合開源的一款基於流匹配的全非自回歸文本到語音合成模型。它由SWivid團隊開發。模型採用擴散變壓器（DiT）與ConvNeXt V2等架構，並經過10萬小時的數據訓練。F5-TTS支持零樣本聲音克隆、多語言合成、情感表現控制、語音速度精確控制和長文本合成，其推理實時因子（RTF）為0.15。它以其高效、自然和多語言支持的特點脫穎而出。
發展歷史
2024年10月，上海交通大學和劍橋大學聯合團隊開源F5-TTS，支持零樣本聲音克隆。其論文發布於arXiv，開原始碼託管於GitHub平台。該模型經過10萬小時的多語言數據訓練。該項目由Vaibhav (VB) Srivastav開發。10月17日，公開論文與代碼倉庫，詳解流匹配與DiT技術架構。10月28日，集成Qwen2.5-3B-Instruct模型，新增語音聊天功能。11月05日，F5-TTS上線wisemodel開源社區，最佳化推理速度與魯棒性。提供了API和WebUI項目，包括兼容OpenAI TTS的接口及Windows系統下的整合包。截至2026年1月，F5-TTS項目在GitHub上已獲得超13.9K星標，社區活躍度高。同時，評測也指出其在長文本斷句和數字朗讀方面仍存在可最佳化空間。
核心技術
F5-TTS是一個基於流匹配的全非自回歸文本到語音轉換系統。其採用變分自編碼器（VAE）架構，將語音分解為內容編碼、說話人編碼和韻律編碼三個維度，並使用擴散變換器（DiT）進行流匹配。
F5-TTS具備零樣本語音克隆能力，僅需少量參考音頻即可復刻目標聲音。它支持多語言語音合成與無縫的代碼切換，並支持語速控制、情感遷移和長文本合成。該模型推理實時率（RTF）可達0.15，合成速度快。
F5-TTS在100K小時的多語言數據集上進行訓練。
運營模式
F5-TTS項目採用MIT開源許可證，著作權歸Yushen CHEN所有。該許可證允許用戶進行商業使用、修改、分發和私人使用，但需在軟體的所有副本或實質部分中包含著作權和許可通知。許可證不提供任何擔保，作者或著作權持有者對任何索賠或損害不承擔責任。
核心團隊
F5-TTS項目源自SWivid團隊，由上海交通大學和劍橋大學的研究人員聯合開源，主要開發者包括Vaibhav (VB) Srivastav和Yushen CHEN，項目來自上海交通大學x-lance跨媒體語言智慧型實驗室。
