BaiLing-TTS

BaiLing-TTS是巨人網路於2024年9月19日在雲棲大會首發的語音大模型，屬於該公司"遊戲+AI"技術矩陣的核心組成部分。該模型突破方言語音合成技術瓶頸，支持20種國語方言混合表達及音效生成功能，具備行業內首個國語零樣本克隆能力。其技術套用已覆蓋遊戲NPC配音、視頻創作輔助等領域，並在《太空殺》等遊戲中實現了AI劇本創作與動態互動玩法創新。

基本介紹

• 研發機構：巨人網路  
• 發布時間：2024年9月19日
• 套用領域：遊戲語音互動、視頻創作 
• 核心技術：多方言混合語音合成、文本驅動音效生成
• 支持方言：20種 
• 展示平台：2024雲棲大會 

技術特性

• 多方言混合合成：通過構建包含超20萬小時的多語料數據集，支持河南話、上海話、粵語等20種方言的高質量合成，解決方言數據稀缺與標註難題
• 音效生成技術：具備文本直接驅動生成音效功能，可結合文本描述與多模態信息實現複合音效輸出
• 語音克隆能力：實現國語零樣本克隆，用戶只需提供10秒語音樣本即可生成個性化聲線

套用場景

• 遊戲NPC配音：在《太空殺》中與UGC劇本工具結合，通過AI語音克隆功能降低玩家創作門檻，驅動"AI殘局挑戰"等非線性動態玩法
• 視頻創作輔助：集成於巨人摹境AI繪畫平台，實現劇本大模型與語音合成的協同作業，提升宣發視頻生產效率
• 文化傳承保護：通過京劇唱腔合成與方言保護功能，探索傳統文化數位化傳承路徑

研發背景

2024年雲棲大會期間，巨人網路首次以全新AI實驗室品牌發布該模型，與GiantGPT共同構成企業AI技術底座。研發團隊依託網際網路公開數據與自有遊戲數據構建訓練集，重點突破方言語音合成的技術瓶頸。截至2024年9月，該模型已完成備案並投入實際業務場景套用。

行業影響

作為遊戲行業首個支持方言混說的語音模型，其技術路線為互動式內容創作提供新範式。通過Multi-Agent框架與情緒驅動型AI的結合，推動遊戲從固定劇情向開放世界演進。巨人網路AI實驗室負責人丁超凡表示，該模型將深度融入遊戲研發、運營全鏈路，持續探索大模型驅動的原生互動體驗。