發展歷史
2025年5月9日,騰訊混元團隊發布並開源全新的多模態定製化視頻生成工具HunyuanCustom。
該工具的單主體生成能力在發布時即已開源並在混元官網上線,其他功能如多主體生成、音頻驅動等也計畫於2025年5月內陸續開源。
主要功能
HunyuanCustom模型基於混元視頻生成大模型(
HunyuanVideo)打造,融合了多模態輸入生視頻的能力。模型具備單主體視頻生成、多主體視頻生成、單主體視頻配音、視頻局部編輯等能力。
在單主體生成模式下,用戶上傳一張目標人物或物體的圖片並提供文本描述,模型即可在完全不同的動作、服飾與場景中生成連貫自然的視頻內容。在多主體生成模式下,該工具能實現多主體視頻的生成。在音頻驅動模式下,用戶可以上傳人物圖像並配上音頻語音,模型便可生成人物在任意場景中說話、唱歌或進行其他音視頻同步表演的效果。在視頻驅動模式下,HunyuanCustom支持將圖片中的人物或物體自然地替換或插入到任意視頻片段中。
該模型的技術適用於需要生成或編輯包含特定人物、物體的視頻內容的場景。
核心技術
HunyuanCustom基於混元視頻生成大模型(
HunyuanVideo)打造,其核心目標是確保生成視頻中主體特徵的一致性,並支持文本、圖像、音頻、視頻等多模態輸入。
該工具引入了基於LLaVA的文本-圖像融合模組,通過將圖像信息融入文本語義來增強對輸入身份信息的理解。
為保障身份一致性,HunyuanCustom設計了圖像身份增強模組,該模組將輸入圖像沿時間軸拼接,利用視頻模型的時間序列建模能力來確保視頻各幀中主體特徵的一致性。
在音頻驅動方面,HunyuanCustom採用了身份解耦的AudioNet音頻驅動模組,確保音頻條件的引入不會干擾人物身份的穩定性。
對於視頻驅動任務,HunyuanCustom採用了視頻條件注入策略,支持將圖片中的人物或物體自然地替換或插入到任意視頻片段中,實現視頻局部編輯。
在模型訓練最佳化層面,HunyuanCustom採用了Flow Matching框架來最佳化視頻生成模型,並採用了一系列數據增強策略以提高模型的泛化能力和魯棒性。
在官方對比測試中,HunyuanCustom在主體一致性方面取得了一定成果,其面部特徵相似度(Face-Sim)指標達到0.627,主體相似性(DINO-Sim)指標達到0.593。
產品型號
HunyuanVideo-Avatar是騰訊混元與騰訊音樂聯合開發的衍生模型,於2025年6月發布。該模型支持用戶上傳一張照片並配上一段音頻,自動識別場景氛圍和情緒,生成人物說話或唱歌的動態視頻。它支持多種風格角色(真人、卡通、3D)、情緒控制(喜怒哀樂)以及多角色同框對話。其單角色模式已經開源,並在混元官網提供體驗,多角色模式計畫後續發布。
產品文化
HunyuanCustom由騰訊混元團隊於2025年5月9日發布並開源。