Step-Audio

Step-Audio是階躍星辰與吉利汽車集團聯合研發並於2025年2月18日宣布開源的多模態語音模型。

該模型支持情緒控制、方言識別、多語種對話及音色克隆功能，在影視娛樂、社交、遊戲等領域具備套用潛力。技術層面採用雙碼本編碼架構，整合1300億參數多模態基礎模型與混合語音解碼器，在SEED測試集等基準測試中表現較好。2025年9月1日，階躍星辰發布升級版本Step-Audio 2 mini，在音頻理解、語音識別等任務中性能表現優於GPT-4o Audio等開源模型，並首次實現端到端語音大模型在吉利銀河M9車型的量產套用。同年9月發布的Step-Audio 2 mini新增語音原生Tool Calling功能，支持聯網搜尋與音頻推理能力，在FLEURS Chinese等中文能力評測中成績較好。2026年1月15日，階躍星辰宣布其開源原生語音推理模型Step-Audio-R1.1在全球人工智慧模型評測榜單中取得96.4%的準確率，該模型具備深度語音推理和實時回響能力，其權重已上傳至HuggingFace平台。截至2025年3月，開源版本已完成華為昇騰伺服器適配，形成完整開源生態體系。該模型通過GitHub、Hugging Face等平台開源，同步發布技術報告與多輪音頻互動基準測試集StepEval-Audio-360。

基本介紹

• 開發者：階躍星辰、吉利汽車集團
• 開源時間：2025年2月18日
• 核心功能：音色克隆、多語種對話
• 模型參數：1300億基礎模型
• 適配架構：昇騰CANN異構計算
• 性能指標：CER 1.31%

性能指標

在多項基準測試中展現領先優勢：

• 語音識別：
• Aishell-1測試集CER 1.31%（對比Whisper Large-v3的2.19%）
• 英文WER 2.31%（行業平均4.12%）

合成質量：

• StepEval-Audio-360對話評分4.11（GLM4-Voice為3.89）
• RAP生成韻律準確度提升37%

功能特性

模型實現三大技術突破：

• 音色控制：支持8秒樣本克隆目標音色，誤差率低於3.2%
• 多模態互動：
• 支持中/英/日三語種對話
• 識別粵語、四川話等6種方言

情感表達：

• 內置開心、悲傷等12種基礎情緒模板
• 支持語速調節（0.5x-2.0x）

實時與推理能力：

具備深度語音推理能力，能夠端到端理解語音內容並增強複雜語音推理能力。

開源生態

2025年3月形成完整技術生態鏈：

• 部署平台：Huggingface/ModelScope雙平台模型託管
• Step-Audio-R1.1的模型權重已上傳至HuggingFace平台，供開發者和研究人員免費下載與使用。
• 硬體適配：
• 已完成華為昇騰CANN架構最佳化
• 支持昇騰伺服器實時推理

套用案例

在吉利汽車場景中，該技術的套用包括：

• 車載系統回響速度為400ms，傳統方案通常為1.2s
• 方言識別準確率為92.3%，行業基準為85.1%
• 環境音效模擬功能套用於冥想空間模式

該模型也適配影視製作場景，案例涉及提升語音指令回響速度、增強情感理解能力，支持方言識別、個性化聲音定製及環境音效模擬。

在2026年1月15日的發布會上，階躍星辰展示了模型在複雜語音理解中的新套用案例，例如分析貓咪的爭鬥聲音和理解韓語歌詞，這些案例展示了Step-Audio在非標準語音環境中的套用。

開發背景

2025年2月18日階躍星辰聯合吉利汽車集團正式開源Step-Audio語音模型。該模型作為階躍Step系列多模態產品矩陣的重要組成部分，旨在構建開源生態下的新一代語音互動解決方案。

技術架構

系統採用雙碼本編碼器方案：

• 語言學編碼器：16.7Hz採樣頻率，1024級碼本
• 語義編碼器：25Hz採樣頻率，4096級碼本核心組件包含：
• 1300億參數多模態基礎模型Step-1
• 混合語音解碼器（30億參數語言模型+流匹配模型）
• 實時推理管線（語音活動檢測模組、流式分詞器）