通義百聆是阿里巴巴在2025年杭州雲棲大會上發布的語音模型家族，包含語音識別大模型Fun-ASR和語音合成大模型Fun-CosyVoice，定位於企業級語音基座大模型。其語音識別基於數千萬小時真實語料訓練，具備多語言處理能力，語音合成提供上百種預製音色，適用於客服、有聲書等多種場景。
2025年12月，該系列模型迎來重要升級並正式開源部分版本。開源模型包括語音合成的Fun-CosyVoice3-0.5B與語音識別的Fun-ASR-Nano，支持本地部署與二次開發。新版模型在跨語種音色克隆、多語言方言支持及流式識別延遲等方面均有提升。
基本介紹
- 中文名：通義百聆
- 定義：阿里推出的開源語音模型系列
定義與組成,發展歷程,核心技術,功能與特點,影響與評價,
定義與組成
通義百聆是阿里通義實驗室推出的企業級語音基座大模型，致力於攻克複雜環境下的語音落地套用難題。其最初由語音識別大模型Fun-ASR和語音合成大模型Fun-CosyVoice兩大核心模型組成。
Fun-ASR基於數千萬小時真實語音數據訓練而成，具備強大的上下文理解能力與行業適應性，可實時處理多種語言。Fun-CosyVoice可提供上百種預製音色，適用於客服、銷售、直播電商、消費電子、有聲書、兒童娛樂等場景。
2025年12月，通義百聆系列模型迎來重要升級並宣布開源。語音合成模型升級為Fun-CosyVoice3，支持3秒錄音進行zero-shot音色克隆，可實現跨9種語言、18種方言及多種情感的語音合成，首包延遲降低50%。同時，系列新增了端到端語音互動模型Fun-Audio-Chat，支持情感感知與任務執行。此外，還開源了輕量化版本Fun-ASR-Nano(0.8B)和Fun-CosyVoice3(0.5B)，以支持本地及移動端部署。
截至2025年9月，通義百聆開源模型的下載量已超過5.6億。
發展歷程
2025年7月8日，在阿里雲“飛天發布時刻”上，通義百聆模型宣布商業化發布。2025年9月24日，在杭州雲棲大會上，通義大模型家族迎來新成員——語音大模型通義百聆，涵蓋語音識別大模型Fun-ASR與語音合成大模型Fun-CosyVoice，首次正式對外發布。2025年12月，該系列模型迎來重大升級，12月23日，在阿里“飛天發布時刻”上，官方宣布升級與發布新的通義百聆系列，包括輕量化的開源版本：語音識別模型Fun-ASR-Nano (0.8B)、語音合成模型Fun-CosyVoice3 (0.5B)，並新發布了端到端語音互動模型Fun-Audio-Chat。2025年12月24日，新一代端到端語音互動模型Fun-Audio-Chat-8B正式開源。
核心技術
通義百聆核心技術體系主要由語音識別大模型Fun-ASR、語音合成大模型Fun-CosyVoice以及端到端語音互動模型Fun-Audio-Chat構成。
Fun-CosyVoice語音合成大模型基於語音解耦訓練方法，將語音的音色、語速、語調等特徵進行分離和獨立訓練再組合，以生成自然流暢的語音。該技術支撐了其跨語種音色克隆能力，僅需3秒以上參考音頻即可復刻音色。
Fun-Audio-Chat是端到端語音互動模型，採用端到端S2S架構和雙解析度設計（Shared LLM層5Hz，SRH層25Hz），從語音輸入直接生成語音輸出，無需多模組拼接，旨在提升效率，GPU計算開銷有所降低。該模型基於百萬小時多任務數據訓練，具備語音理解、情感識別與Function Call能力。
通過引入RAG（檢索增強生成）機制動態注入術語庫，支持人名、品牌、行業術語的識別，支持用戶配置，詞典庫容量可達10000條。
功能與特點
通義百聆是阿里通義實驗室推出的企業級語音基座大模型，整合了語音識別大模型Fun-ASR、語音合成大模型Fun-CosyVoice以及端到端語音互動模型Fun-Audio-Chat，致力於攻克複雜環境下的語音落地套用難題。
語音合成大模型Fun-CosyVoice支持強大的Zero-shot音色克隆能力，僅需提供一段3秒以上的參考音頻即可復刻其音色併合成新語音。該能力支持跨語種克隆，基於國語錄音可生成粵語、日語、英語等多種語言語音，覆蓋9種通用語言和18種中文方言及口音。同時，模型支持對合成語音的情感、說話風格、語速、音量等進行定製。Fun-CosyVoice3模型經過升級，首包延遲降低50%，支持雙向流式合成，實現“輸入即發聲”，提升了語音助手、直播配音等實時場景的互動體驗。
語音識別大模型Fun-ASR具備高魯棒性，在模擬會議室、車載、工業現場等高噪聲環境下，通過強化學習最佳化，識別準確率可達93%。支持流式識別，邊說邊出字，首字延遲低至160毫秒。支持多語言自由混說，可自動判斷並識別31種語言，無需預先設定語種。引入RAG機制，支持用戶動態注入行業術語庫，容量可達10000條，確保專業辭彙的精準識別，配置時間約5分鐘。新增歌詞與說唱識別能力。
端到端語音互動模型Fun-Audio-Chat支持直接從語音輸入生成語音輸出的端到端互動，無需ASR、LLM、TTS多模組拼接，延遲更低。該模型具備情感感知能力，能根據用戶語氣識別情緒並給出恰當回應，同時支持語音Function Call，可用自然語音指令調用函式完成任務。採用高效架構，GPU計算開銷降低近50%。
該系列模型已全面開源，包括Fun-ASR-Nano(0.8B)、Fun-CosyVoice3(0.5B)、Fun-Audio-Chat-8B等輕量化版本，支持本地部署與二次開發，適配從雲端到移動終端的不同套用場景。
影響與評價
通義百聆被定位為“企業級語音基座大模型”，其開發旨在應對企業落地語音套用的相關挑戰。該模型採取大規模開源策略，這有助於降低AI語音技術的套用門檻，使得創業公司和個人開發者能夠基於此模型進行套用開發，從而有助於相關技術的普及。在技術評測中，其端到端語音互動模型Fun-Audio-Chat在OpenAudioBench等多個榜單的同尺寸模型中位列前茅。此外，通義百聆系列模型對本地部署和移動端運行的最佳化，被認為有助於AI硬體生態的發展。
