SoulX-Duplug是由Soul AI Lab聯合上海交通大學X-LANCE Lab和西北工業大學ASLP@NPU團隊開源的一款面向全雙工語音對話系統的即插即用流式狀態預測模組。該模組在單一模型框架中同時完成語音活動檢測、流式語音識別和對話狀態預測，旨在解決語音對話系統中實時互動能力不足、系統回響延遲高、模組耦合嚴重等問題。
項目採用GLM-4-Voice speech tokenizer等技術實現低延遲互動，並開源了面向全雙工語音對話系統的雙語評測基準SoulX-Duplug-Eval。該模組是Soul圍繞實時互動核心戰略方向開源的多模態技術之一。
基本介紹
- 軟體名稱：SoulX-Duplug
- 開發商：Soul AI Lab、上海交通大學X-LANCE Lab、西北工業大學ASLP@NPU團隊
- 軟體授權：開源
- 上線時間：2026年3月
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
SoulX-Duplug是一個全雙工語音對話控制模組。
該模組旨在解決當前語音對話系統中實時互動能力不足、系統回響延遲高、模組耦合嚴重等問題。
該模組通過將語音活動檢測(VAD)、流式語音識別(ASR)與對話狀態預測統一建模，以提升語音系統的全雙工互動能力。
發展歷程
2026年3月，Soul App AI 團隊（Soul AI Lab）聯合上海交通大學 X-LANCE Lab 和西北工業大學 ASLP@NPU 團隊，正式開源全雙工語音對話控制模組 SoulX-Duplug。該模組是一款面向全雙工語音對話系統的即插即用流式狀態預測模組。
核心技術
SoulX-Duplug採用GLM-4-Voicespeech tokenizer以12.5Hz的頻率提取離散語音token，並採用160ms（對應2個token）的處理視窗進行流式處理，交替生成語音識別文本與對話狀態token，從而在持續音頻輸入的情況下實時理解用戶語音內容並動態預測對話互動狀態，實現低延遲的全雙工語音互動。
運營模式
SoulX-Duplug採用開源模式發布。項目同時開源了面向全雙工語音對話系統的雙語評測基準 SoulX-Duplug-Eval，以推動該領域的標準化和可比較研究。作為 Soul“實時互動”技術基建的重要組成部分，其通過工程化部署方案將技術推向可真正工業級套用階段。
核心團隊
重要事件
2026年3月，Soul AI Lab聯合上海交通大學X-LANCE Lab和西北工業大學ASLP@NPU團隊，正式開源了面向全雙工語音對話系統的即插即用流式狀態預測模組SoulX-Duplug。
