LTX-2 AI

LTX-2 AI是由以色列公司Lightricks開發的一個開源的、可用於生產環境的AI視頻和音頻生成模型,於2025年10月正式推出。該模型基於DiT(Diffusion Transformer)架構,旨在通過單一模型生成同步的視頻和音頻,創建令人驚艷的4K視頻並實現音畫同步。LTX-2支持文本到視頻和圖像到視頻的生成,每片段可達約50幀/秒的高質量輸出,時長最長20秒。LTX-2基於Apache 2.0許可證發布,允許用戶通過ComfyUI進行本地一鍵部署或通過RESTful、WebSocket等API集成,為用戶提供對其視頻生成工作流程的完全控制和定製能力。模型對硬體要求相對親民,僅需8GB顯存即可在消費級GPU上運行,並設計了Fast、Pro、Ultra等多種工作模式以適應不同創作需求。

2026年1月6日,NVIDIA宣布為Lightricks的LTX-2模型開源權重版本做出最佳化,推出NVIDIA NVFP8量化模型,其NVFP4和NVFP8檢查點現已在ComfyUI中直接開放下載。2026年1月30日,官方發布了LTX-2的路線圖,計畫於2026年第一季度內推出新版本,將在細節保留、對齊一致性、音頻穩定、圖像到視頻行為、提示理解五大核心維度進行深度最佳化。

基本介紹

  • 外文名:LTX-2 AI
  • 類別:視頻和音頻生成模型
研發背景,發展歷程,核心技術,核心功能,使用方式,運營模式,重要事件,

研發背景

Lightricks於2025年10月23日發布了一個開源的AI視頻基礎模型LTX-2。該模型旨在生成長時間、連貫且符合物理規律的視頻。其設計側重於推理效率,參數量相對較小,適用於生產流程。Lightricks開源了LTX-2的模型權重、代碼、基準測試、數據集及相關工具鏈。

發展歷程

2025年10月23日/31日,Lightricks正式發布LTX-2模型。2025年11月,Lightricks宣布將模型權重、代碼、基準等於GitHub上公開。
2026年1月6日,LTX-2模型正式發布並開放下載;同日,NVIDIA在CES 2026上宣布為LTX-2的開源權重版本進行最佳化,推出NVFP8量化模型,並發布了由RTX加速的視頻生成工作流。
2026年1月7日/8日/12日,Lightricks團隊正式開源LTX-2模型,報導了其開源訊息及與ComfyUI的集成情況,用戶可在ComfyUI中下載並使用最佳化後的模型。
2026年2月,持續報導模型的技術細節,其技術論文《LTX-2: Efficient Joint Audio-Visual Foundation Model》受到關注。

核心技術

LTX-2是一種基於DiT(Diffusion Transformer)架構的音視頻基礎模型,旨在通過單一模型生成同步的視頻和音頻。其核心技術採用非對稱雙流並行架構,通過視頻流(140億參數)和音頻流(50億參數)的協同處理,實現音視頻一體化生成。
LTX-2的技術核心是對潛變空間壓縮與生成解碼的再設計,採用類似於Stable Diffusion的UNet架構,但經過重新最佳化的編碼器可在更低維度下保持圖像品質。其技術組件包括混合擴散-變壓器架構、多GPU推理堆疊、原生QHD/4K渲染與多尺度預覽、幀級精度及多關鍵影格調節。模型支持語義引導擴散,能更準確地理解文字提示。
模型支持多模態輸入,文字、圖像、視頻、音頻、深度圖等皆可作為輸入,並能夠一次同步生成視頻與配套音頻(包括對話、配樂、環境音效)。模型通過可控低秩適配增強(LoRA)技術提供了高級條件控制功能,支持用戶通過多關鍵幀進行精細化創作控制。
LTX-2強調“高效推理”而非單純追求龐大參數量,傾向於小而快的方向,專為生產流程設計。它支持從6秒片段到20秒長視頻的生成,並支持最高4K解析度、約50FPS的高幀率輸出。模型經過最佳化,可在消費級GPU上運行,大幅降低了高質量音視頻生成的門檻。

核心功能

LTX-2 AI提供開源模型(Apache 2.0 許可證),支持本地部署和ComfyUI集成。平台具備原生音畫同步功能,可生成與視覺內容匹配的對話、環境音效和音樂。系統支持高達 50 FPS 的超高清(4K)視頻生成,涵蓋文本到視頻和圖像到視頻兩種創作方式。
根據官方於2026年1月30日發布的路線圖,LTX-2計畫於2026年第一季度內推出新版本,將在細節保留、對齊一致性、音頻穩定、圖像到視頻行為、提示理解五大核心維度進行深度最佳化。具體改進包括引入新一代VAE以提升細節保留能力,強化條件對齊,最佳化音頻生成減少靜音和噪聲,改善圖像到視頻動態表現,以及更新文本編碼連線器增強提示理解。

使用方式

使用LTX-2創建視頻的步驟包括:輸入文本提示描述場景或上傳參考圖片;LTX-2處理輸入後生成帶有音頻的視頻;生成的視頻可以下載或通過API集成。
可通過ComfyUI進行可視化操作,ComfyUI Manager中內置了相關節點。需安裝ComfyUI,在custom_nodes目錄下克隆LTX-2節點,下載模型檔案後載入使用。
LTX-2採用API-First設計,提供RESTful與WebSocket接口,支持雲端調用與企業級生產環境集成。
LTX-2可在消費級GPU上運行,最低需要8GB顯存。在支持特定量化技術的GPU上運行時,運行效率可能有所提升,顯存占用降低。
生成視頻的寬度和高度必須能被32整除,幀數必須滿足(8 + 1)的整數倍。

運營模式

LTX-2採用徹底透明的開源策略,在GitHub上提供完整的模型權重、數據集、代碼及工具鏈。該模型強調可在消費級GPU上本地運行,最低僅需8GB顯存,降低了個人創作者和研究者的使用門檻。對於希望直接調用服務而非自行部署的用戶,Lightricks提供了商業API接口。在技術生態方面,LTX-2已集成至Diffusers Python庫,並深度集成到ComfyUI等可視化工作流工具中;此外,NVIDIA為其開源權重版本推出了NVFP4/NVFP8量化模型,最佳化了在RTX系列GPU上的運行效率與顯存占用。

重要事件

2025年10月31日,Lightricks正式推出其全新AI視頻生成模型LTX-2,該模型專為內容創作者設計,可在數秒內生成高解析度、風格一致且動作流暢的短視頻,並計畫集成於其旗下套用Videoleap和Facetune Video。2025年,Lightricks團隊發布技術論文《LTX-2: Efficient Joint Audio-Visual Foundation Model》(arXiv:2601.03233, 2025),系統闡述了模型的技術原理與架構。
2026年1月6日,在CES 2026上,NVIDIA宣布為Lightricks的LTX-2音視頻生成模型開源權重版本進行最佳化,推出NVFP8量化模型,旨在提升在RTX GPU上的性能並降低顯存占用,同時LTX-2模型於當日正式發布並開放下載。2026年1月7日,Lightricks正式開源LTX-2模型,公開了全部模型權重、代碼及訓練框架,實現了長達20秒、4K解析度且音畫同步的高清視頻生成能力。2026年1月,NVIDIA推出的NVFP4和NVFP8量化檢查點(Checkpoints)已在ComfyUI中直接開放下載,與LTX-2模型集成。

相關詞條

熱門詞條

聯絡我們