PixelDance

PixelDance是位元組跳動旗下火山引擎於2024年9月24日在深圳AI創新巡展上發布的豆包視頻生成大模型。該模型基於改進型擴散Transformer（DiT）架構開發，支持文本或圖像生成最長10秒的視頻，具備複雜語義理解能力和多主體互動場景生成能力。其核心技術突破體現在多鏡頭切換一致性控制、動態運鏡技法支持以及黑白/3D動畫/國畫等多元藝術風格的適配。模型通過火山引擎企業版和即夢AI平台分別開啟企業邀測與個人內測，已套用於電商行銷、動畫教育等場景。

基本介紹

• 所屬公司：位元組跳動火山引擎
• 發布時間：2024年9月24日
• 核心架構：改進型擴散Transformer（DiT）
• 支持時長：最長10秒視頻生成
• 套用場景：影視創作、電商行銷、教育培訓
• 測試狀態：2024年9月開啟企業邀測  

技術架構

採用圖像指令與文本指令相結合的雙模態控制框架，集成預訓練VAE編碼器與文本編碼器實現多模態輸入處理。通過改進的擴散模型訓練方法突破多鏡頭切換一致性難題，開發專用訓練推斷技術保證視頻分段生成的時間連貫性。框架支持九種視頻寬高比適配，包含變焦、環繞等八種專業運鏡技法。

功能特性

• 支持通過時序提示詞控制視頻動態演變過程，實現自然連貫的多拍動作生成
• 具備零樣本視頻編輯能力，可將視頻編輯任務轉化為圖像處理問題
• 採用真實視頻幀作為控制指令，解決傳統視頻生成模型動態範圍不足的問題
• 支持生成含5個以上互動主體的複雜場景，覆蓋黑白、油畫、3D動畫等藝術風格

訓練數據

主訓練數據集採用WebVid-10M（含1000萬平均18秒的短視頻），額外補充50萬條無水印現實場景視頻片段以消除原始數據水印影響。火山引擎與英特爾聯合開發的視頻預處理方案被套用於訓練過程，通過潮汐資源調度提升計算效率。位元組跳動自研視頻編解碼晶片在訓練中實現95%的成本節省。

商業套用

截至2024年9月，模型已通過火山引擎雲服務向企業客戶開放，首批套用於科幻短劇《三星堆:未來啟示錄》的製作支持及電商產品展示視頻生成。個人創作者可通過即夢AI平台申請內測資格，實測顯示其生成效果在擬真度、運鏡技巧方面達到影視級水平。火山引擎總裁譚待表示將持續最佳化模型在安全性與穩定性方面的表現，拓展文旅、教育等垂直領域的套用場景。

演進規劃

技術團隊計畫突破視頻生成時長限制，最佳化多模態互動能力以支持音頻同步生成。2024年9月24日發布的視頻預處理方案將進一步提升模型訓練效率，推動商業化場景的規模化落地。豆包大模型家族已完成向全模態技術體系的擴展，日均處理5000萬張圖片與85萬小時語音數據。