MiMo-V2-TTS

MiMo-V2-TTS是小米公司研發的語音合成模型,於2026年3月發布。該模型基於自研的Audio Tokenizer和多碼本語音-文本聯合建模架構,使用了上億小時的語音數據進行預訓練與強化學習。其具備多粒度語音風格控制能力,支持從整體風格到局部情緒的調節,能夠模擬人類說話的韻律變化,並在同一句話內實現語氣與情感的轉換。該模型也可用於合成歌聲。該模型屬於小米MiMo-V2系列,其負責人羅福莉曾表示該系列模型將會開源。

基本介紹

  • 外文名:MiMo-V2-TTS
  • 發布時間:2026年3月
  • 產品類型:大模型
  • 所屬企業:小米
產品簡介,發展歷史,生態套用,

產品簡介

Xiaomi MiMo-V2-TTS基於自研Audio Tokenizer和多碼本語音-文本聯合建模架構,經過大規模語音數據的預訓練與強化學習,實現了多粒度的語音風格控制。該模型基於小米的相關產品系列架構,其基礎模型採用混合注意力機制,支持1M上下文視窗,並通過MTP推理技術實現較低延遲和成本控制。MiMo-V2-TTS支持從整體風格到局部情緒的調節,能在同一句話內完成語氣轉折和情感變化;能夠模擬人類說話時的韻律特徵;在合成歌聲時,也能處理音高和節奏信息,具有一定的表現力。
該模型支持包括四川話、東北話、河南話、粵語、台灣腔在內的多種方言的語音合成,並能套用於AI代理,為其賦予有溫度、有情感的聲音表達能力。

發展歷史

此前,一個代號“Hunter Alpha”的神秘模型匿名上線,引發全球開發者關注與猜測,被普遍誤認為是即將發布的DeepSeek V4。2026年3月19日,小米大模型(Xiaomi MiMo)團隊發文,正式發布MiMo-V2-Pro&Omni&TTS三款大模型。小米MiMo大模型負責人羅福莉表示,MiMo-V2系列模型將在足夠穩定後開源。

生態套用

語音合成大模型Xiaomi MiMo-V2-TTS旨在使智慧型體能夠生成具備多種聲音特徵的語音與人對話,其支持多方言、多角色、多語氣生成,並能識別文本中的停頓、語氣詞及強調標記等格式信號。
在訓練過程中,MiMo-V2-TTS首先通過超大規模語音-文本混合預訓練,在海量數據中習得了跨模態對齊與理解生成的統一能力;在此基礎上,通過少量高質量監督數據的微調,模型獲得了可泛化的多粒度與多風格指令控制能力。
可泛化的語音風格指令控制:該模型支持從整體到局部的多層次語音風格控制。用戶可通過自然語言指令設定整體語音基調,同時對句內局部片段進行細粒度的調節,實現同一語句中語氣與情感的自然過渡。
文本理解:該模型在預訓練階段通過大量文本-語音對齊數據,習得了書面語與口語表達之間的映射關係,能夠識別文本中的停頓、語氣詞、強調標記等格式信號,並將其轉化為相應的語音表達。
方言、角色、歌聲:該模型支持多種方言的發音,可進行角色扮演式的風格化演繹,並能實現歌聲合成。其方言支持包括東北話、四川話、河南話、粵語、台灣腔等。
MiMo-V2-TTS已集成到小米的“人車家全生態”場景中,支持跨設備的自然語言互動。

相關詞條

熱門詞條

聯絡我們