Hallo2

近期，百度與復旦大學聯合發布了視覺生成模型Hallo2。 該模型是一種基於潛在擴散生成模型的音頻驅動人像圖像動畫技術，作為首個實現長達一小時、4K解析度的音頻驅動人像動畫生成模型，它通過圖像塊丟棄、噪聲增強和時間對齊等技術解決長時生成中的外觀漂移和視覺不一致問題。Hallo2已在GitHub平台開源，其技術可用於數字人、電影製作、虛擬助手、遊戲開發等領域。

基本介紹

• 外文名：Hallo2
• 類型：視覺生成模型

簡介

Hallo2是一個可以生成長達數小時且解析度為4K的人物動畫的視覺模型。

Hallo2是一種基於潛在擴散生成模型的人像圖像動畫技術，通過音頻驅動生成高解析度、長時的視頻。它由百度聯合復旦大學等於2024年10月發布，並已在GitHub平台開源，供全球開發者免費使用和研究。該模型是首個實現長達一小時、4K解析度的音頻驅動人像動畫生成模型，解決了長時視頻生成中的外觀漂移和視覺不一致問題。Hallo2支持靈活的語音與文本控制，在數字人、電影製作、虛擬助手、遊戲開發等領域具有套用前景。

技術原理

Hallo2是一種基於潛在擴散模型（latent diffusion models）構建的音頻驅動人像動畫生成模型。它繼承了前代Hallo模型的創新框架，採用分層音頻驅動視覺合成模組，以提高音頻與視覺輸出之間的同步精度。

為了有效解決長時視頻生成中的外觀漂移和視覺不一致問題，Hallo2引入了圖像塊丟棄（patch-drop）、高斯噪聲增強以及時間對齊技術。同時，該模型結合了向量量化生成對抗網路（VQ-GAN）來確保生成視頻的高解析度畫質與流暢性。

此外，Hallo2支持可調整的語義文本標籤作為條件輸入，使其不僅能依據音頻生成視頻，還能通過文本提示進一步增強對表情和生成內容的控制精度與多樣性。

發展歷史

2024年10月，百度聯合復旦大學等發布Hallo2。

Hallo2是全球首個能夠生成長達一小時、4K解析度的音頻驅動人像動畫生成模型，該模型已在GitHub平台開源，供全球開發者免費使用和研究。模型通過引入圖像塊丟棄、噪聲增強和時間對齊等創新技術，旨在解決長時視頻生成中的外觀漂移和視覺不一致問題。其發布被認為是音頻驅動的肖像圖像動畫技術的重要進展，可能為數字人、電影製作、虛擬助手等領域帶來套用潛力。

套用範圍

Hallo2已經在GitHub平台開源，供全球開發者免費使用和研究，促進視頻生成技術的廣泛套用和發展。

Hallo2在數字人、電影製作、虛擬助手和遊戲開發等領域具有套用前景。

技術影響

Hallo2是一個實現長達一小時、4K解析度的音頻驅動人像動畫生成模型，通過圖像塊丟棄、噪聲增強和時間對齊等技術，處理長時視頻生成中的外觀漂移和視覺不一致問題。

Hallo2在AI驅動的肖像圖像動畫領域具有一定影響。

Hallo2已在GitHub平台開源，其開源發布有助於視頻生成技術的相關研究，可套用於數字人、電影製作、虛擬助手、遊戲開發等領域。