VibeVoice是微軟開源的語音AI家族，由微軟研究院研發，研究發表於2024年8月，並於2026年3月正式開源。涵蓋自動語音識別（ASR）和文本轉語音（TTS）等多項能力。該項目具有長音頻處理、多說話人自然對話生成以及實時低延遲的特性。
VibeVoice採用基於下一token擴散的方法合成語音，通過高效的連續語音分詞器實現高達3200×的壓縮率，從而支持在64K上下文視窗中合成長達90分鐘、包含最多4名說話人的語音。模型家族主要包括三個核心成員：VibeVoice-ASR-7B能夠一次性處理長達60分鐘的音頻檔案；VibeVoice-TTS-1.5B能在單次生成中產出長達90分鐘的連續音頻，支持最多4個不同說話人；VibeVoice-Realtime-0.5B專注於實時場景，首音頻輸出延遲約300毫秒。作為開源研究架構，VibeVoice採用MIT許可協定，支持本地部署，在GitHub上迅速獲得關注，收穫約27K Star。項目曾因潛在誤用風險短暫下架，後通過嵌入音頻水印、可聽免責聲明等安全機制重新上線。
基本介紹
- 外文名：VibeVoice
- 開發商：微軟
研發背景,發展歷程,核心技術,核心團隊,
研發背景
傳統語音AI框架常面臨長序列處理效率低、多說話人場景下音色一致性差、自然流暢性不足等痛點。為解決這些問題，微軟亞洲研究院（微軟研究院）的研究員們（如彭志良、俞建偉、王文輝、常耀耀等）研發了VibeVoice語音AI模型家族。該研究將連續化的LatentLM模型算法引入語音生成任務，其技術架構結合了大型語言模型的強大理解能力與下一令牌擴散技術，創造出了一種全新的語音合成架構。研究團隊首創了一種新穎的連續語音分詞器，實現了高達3200×的壓縮率（對應7.5 Hz幀率），在保障音頻保真度的同時，顯著提高了長序列處理的計算效率。相關研究成果於2024年8月在arXiv平台公開發布（論文編號：arXiv:2508.19205v1）。VibeVoice是一項基礎研究項目，旨在推動語音合成領域的協作與創新，研究團隊明確表示不建議在商業或真實世界套用中直接使用，而是將其定位為研究和開發工具。
發展歷程
相關研究成果於2024年8月在arXiv平台公開發布，論文編號為arXiv:2508.19205v1。2025年8月/9月，微軟亞洲研究院正式提出VibeVoice模型，該模型採用next-token diffusion機制，能夠實現長達90分鐘、支持最多4人自然對話的高質量語音生成。
2026年3月30日/31日，微軟開源名為VibeVoice的前沿語音AI模型家族，涵蓋自動語音識別和文本轉語音等多項能力。該項目以其強大的長音頻處理、多說話人自然對話生成以及實時低延遲特性，迅速在開發者社區引發關注，在GitHub上收穫約27,000個Star。
項目曾因潛在誤用風險短暫下架，後通過嵌入音頻水印、可聽免責聲明等安全機制重新上線，體現了負責任AI開發的原則。
核心技術
VibeVoice的技術基於一種結合了大型語言模型語義理解能力與擴散模型生成能力的“下一令牌擴散”生成框架。具體而言，模型使用變分自編碼器將原始語音波形編碼為連續的潛在向量序列，這些向量作為語音的語義表示，保留了音色、語調和節奏等信息。
為處理長序列音頻，VibeVoice採用了一種連續語音分詞器。該分詞器實現了較高的音頻壓縮率，將24kHz採樣率的音頻壓縮到每秒7.5個令牌。這種幀率設計使得生成長對話音頻時需處理的令牌數減少，在保障音頻保真度的同時提升了長序列處理的計算效率。
在模型架構層面，VibeVoice採用因果Transformer作為其核心組件。模型以帶角色標籤的對話腳本和已生成的潛在向量為輸入，自回歸地逐步預測下一個語音片段。通過在輸入中嵌入角色標籤，並結合擴散建模過程，模型能夠在整段長對話中為不同說話人保持音色一致，並實現角色切換與對話協同。
該模型能夠模擬真實人類對話中的細節，例如自然的呼吸聲、恰當的停頓、唇齒音以及情感轉折，從而增強了生成語音的自然度和擬真感。
核心團隊
VibeVoice技術由微軟亞洲研究院的研究人員領導研發。核心研究人員包括彭志良、俞建偉、王文輝、常耀耀等。
