OpenVoice是由MIT與MyShell等機構開發的開源語音克隆技術，通過深度學習框架實現音色克隆與語音合成。該技術僅需3秒參考音頻即可提取音色特徵，支持中文、英文、日文、韓文等六種語言輸出，允許獨立調節情感、口音、節奏、停頓及語調等參數，並實現零樣本跨語言語音克隆功能。其核心技術採用變分自編碼器（VAE）與生成對抗網路（GAN），構建雙階段生成框架，包含基礎音色生成和語音特徵調優模組。
OpenVoice支持12倍實時速度的語音生成，端到端延遲低於500毫秒，適用於虛擬角色配音、智慧型客服系統及有聲讀物製作等場景。2024年4月，團隊發布了OpenVoice V2版本，在V1所有功能基礎上，提供了更好的音頻質量與更廣泛的原生多語言支持，且V1與V2均在MIT許可證下開源並允許免費商業使用。該技術自2023年5月起為MyShell.ai平台提供即時語音克隆能力，截至2023年11月已被全球用戶使用數千萬次，其GitHub代碼庫已獲得超過19K星標。2024年，創建者MyShell獲得了1100萬美元融資用於構建加密人工智慧平台。
基本介紹
- 外文名：OpenVoice
- 類別：音頻創作
研發背景,產品功能,核心技術,重要事件,核心團隊,運營模式,套用場景,
研發背景
OpenVoice是由麻省理工學院（MIT）、清華大學與加拿大初創公司MyShell合作開發的開源音頻克隆工具，旨在通過深度學習技術實現實時、高保真的語音克隆。該項目基於TTS、VITS、VITS2等優秀開源項目構建。其核心研發團隊包括MIT的Zengyi Qin、清華大學的Wenliang Zhao和Xumin Yu，以及MyShell的Ethan Sun。OpenVoice自2023年5月起為MyShell平台提供即時語音克隆能力，截至2023年11月，其語音克隆模型已被全球用戶使用了數千萬次。
產品功能
精準音色克隆：通過短音頻克隆音色並跨語言生成
語音風格控制：精細調節情感、口音及節奏語調
零樣本跨語言克隆：無需目標語言數據即可實現語音克隆
高效實時生成：12倍實時速度生成高質量語音
多語言原生支持：支持中英日韓等六種語言輸出
核心技術
OpenVoice通過自監督學習框架將語音信號分離為內容特徵（如語義、語調）和音色特徵（如頻譜包絡），實現內容生成與音色遷移的獨立操控。在特徵提取階段，使用VQ-VAE模型量化並捕捉說話人特徵，並採用Wav2Vec2.0等模型提取參考音頻的音高、節奏、頻譜包絡等底層特徵。在生成階段，利用條件擴散模型將提取的基礎特徵映射到目標文本，完成風格遷移，實現無需額外訓練、僅憑少量音頻樣本即可生成高質量克隆語音的“零樣本”語音克隆功能。
為滿足實時性需求，OpenVoice最佳化了模型結構與推理流程，採用動態卷積與注意力機制等技術，將推理延遲壓縮至毫秒級，其高效的實時處理引擎採用最佳化的算法和並行計算技術，確保快速完成語音特徵提取、模型推理和語音合成過程。
基於上述技術，OpenVoice具備精確的音色克隆、靈活的聲音風格控制以及零樣本跨語言語音克隆能力，用戶能夠對生成語音的情感、口音、節奏、停頓及語調等參數進行獨立調節與細粒度控制。
重要事件
2023年5月，OpenVoice開始為MyShell.ai平台提供即時語音克隆能力。截至2023年11月，該語音克隆模型已被全球用戶使用數千萬次。
2024年4月，OpenVoice V2版本發布，該版本採用了不同的訓練策略以提供更好的音頻質量，並原生支持英語、西班牙語、法語、中文、日語和韓語等多語言。同月，OpenVoice的創建者MyShell獲得1100萬美元融資，用於構建加密人工智慧平台。
2024年10月，OpenVoice發布了iOS客戶端版本1.1.2 (build 35)。
核心團隊
OpenVoice是由麻省理工學院（MIT）與人工智慧初創公司MyShell合作開發的項目。技術研發由MIT博士、清華本科背景的Charles領銜。主要貢獻者包括：MIT的Zengyi Qin、清華大學的Wenliang Zhao和Xumin Yu、以及MyShell的Ethan Sun。該項目相關的技術論文為《OpenVoice: Versatile Instant Voice Cloning》(arXiv:2312.01479)。
運營模式
OpenVoice採用MIT開源許可證，允許免費用於商業和研究用途，其開發由MyShell AI主導。
自2023年5月起，OpenVoice作為核心技術集成於MyShell的myshell.ai平台，為用戶提供即時語音克隆服務。
項目的代碼及模型在GitHub上開源，由來自麻省理工學院、清華大學及MyShell的核心團隊（如Zengyi Qin、Wenliang Zhao等）維護。OpenVoice鼓勵開發者社區通過GitHub參與項目的多語言擴展與輕量化模型最佳化等貢獻。
套用場景
OpenVoice適用於娛樂、教育、媒體廣告等多種場景。
其實時語音克隆與精準音色複製能力在多個領域展現出套用潛力。在娛樂與媒體領域，可為虛擬主播、遊戲角色、影視配音提供個性化聲音，快速生成符合角色設定的語音。在智慧型互動領域，用於智慧型客服、語音助手等，提升互動的自然度與個性化體驗。在內容創作領域，輔助播客、講解視頻的音頻製作，簡化製作流程。在無障礙服務領域，幫助聲帶損傷或語言障礙人士生成個性化語音，促進信息的無障礙傳遞。在教育培訓領域，可創建個性化的語音輔助學習工具，用於遠程教育與培訓。
