ThinkSound

ThinkSound是阿里巴巴通義實驗室研發的首個音頻生成模型，由劉華戴博士聯合香港科技大學、浙江大學團隊共同開發，於2025年7月4日正式開源。該模型首次將鏈式推理（CoT）技術引入音頻生成領域，通過多模態大語言模型（MLLM）和統一音頻生成模型的協同工作，分三階段解析畫面並生成音效：基礎擬音生成、互動式對象細化與目標音頻編輯。

其技術架構包含基於VideoLLaMA2最佳化的多模態大語言模型和採用流匹配技術的統一音頻基礎模型，訓練數據採用自建的AudioCoT數據集，收錄超過2500小時的標註音頻素材。模型支持視頻到音頻、文本到音頻、音頻到音頻三種生成模式，可實現音畫同步與自然語言指令編輯。開源版本包含推理代碼、預訓練權重及Web界面，部署支持pip安裝與FP16半精度推理。套用場景涵蓋影視後期、遊戲開發及教育輔助等領域。

基本介紹

• 軟體名稱：ThinkSound
• 上線時間：2025年7月4日

發展歷程

2025年7月4日，阿里“通義大模型”公眾號宣布，通義實驗室首個音頻生成模型 ThinkSound 現已正式開源，將打破“靜音畫面”的想像力局限。

主要功能

ThinkSound 首次將 CoT（Chain-of-Thought，思維鏈）套用到音頻生成領域，讓 AI 學會一步步“想清楚”畫面事件與聲音之間的關係，從而實現高保真、強同步的空間音頻生成 —— 不只是“看圖配音”，而是真正“聽懂畫面”。

ThinkSound 由兩個關鍵部分組成：一個擅長“思考”的多模態大語言模型（MLLM），以及一個專注於“聽覺輸出”的統一音頻生成模型。正是這兩個模組的配合，使得系統可以按照三個階段逐步解析畫面內容，並最終生成精準對位的音頻效果 —— 從理解整體畫面，到聚焦具體物體，再到回響用戶指令。