Moshi是由法國Kyutai實驗室開發的端到端實時語音生成模型，其核心目標是通過低延遲互動與多模態能力模擬人類對話的動態特徵。該模型由8人團隊耗時六個月開發，於2024年7月首次發布。採用7.69B參數的Helium語言模型與Mimi神經音頻編解碼器，支持70種情緒表達和全雙工通信技術，能夠處理對話中的重疊語音與即時打斷。其理論延遲低至160毫秒，實際延遲在200到240毫秒之間，可在MacBook和L4 GPU上運行。Kyutai實驗室已開源該模型的代碼、權重及技術文檔。
基本介紹
- 開發團隊：Kyutai實驗室8人團隊
- 發布時間：2024年7月初
- 模型參數：7.69B參數
- 延遲表現：理論160ms，實測200-240ms
- 支持語言：英語、法語為主
- 開源時間：2024年7月初
技術架構,核心功能,開發與開源,定位與影響,
技術架構
Moshi由三大組件構成：
- Helium語言模型：基於Transformer架構，支持音頻直接輸入輸出，實現端到端處理。Moshi由Helium語言模型、Mimi神經音頻編解碼器和一種新的多流架構三個組件構成；
- Mimi編解碼器：流式神經音頻編解碼器，處理24kHz音頻併兼容多種預訓練模型；
- 多流架構：通過並行處理用戶輸入與生成回應，實現“邊說話邊思考”的動態對話互動。
核心功能
- 全雙工通信：允許用戶與AI同時發聲，支持打斷、重疊語音和即時反饋；
- 情緒模擬：內置70種情緒和風格表達，包括詩歌朗誦與口音轉換；
- 低延遲運行：在消費級硬體（如MacBook）上實現200到240毫秒級回響速度。
開發與開源
Moshi項目始於2024年初，團隊僅用6個月完成開發。截至2024年9月，Kyutai已公開技術報告、GitHub倉庫及HuggingFace模型庫，包含Moshiko、Moshika和Mimi三個子模型。開源內容涵蓋流式推理代碼與訓練數據集，允許第三方開發者進行二次開發。
定位與影響
作為對標GPT-4o的開源方案，Moshi革新了語音互動範式，被評價為“首個實時音頻大語言模型”。其技術路徑打破了傳統基於輪次的對話限制，但因當前語言支持有限及機械音質問題，仍處於疊代階段。Kyutai計畫通過水印技術追蹤AI生成內容，以應對安全風險。
