研發背景
Lightricks於2025年10月23日發布了一個開源的AI視頻基礎模型LTX-2。該模型旨在生成長時間、連貫且符合物理規律的視頻。其設計側重於推理效率,參數量相對較小,適用於生產流程。Lightricks開源了LTX-2的模型權重、代碼、基準測試、數據集及相關工具鏈。
發展歷程
2025年10月23日/31日,
Lightricks正式發布LTX-2模型。2025年11月,Lightricks宣布將模型權重、代碼、基準等於GitHub上公開。
2026年1月6日,LTX-2模型正式發布並開放下載;同日,NVIDIA在CES 2026上宣布為LTX-2的開源權重版本進行最佳化,推出NVFP8量化模型,並發布了由RTX加速的視頻生成工作流。
2026年1月7日/8日/12日,Lightricks團隊正式開源LTX-2模型,報導了其開源訊息及與ComfyUI的集成情況,用戶可在ComfyUI中下載並使用最佳化後的模型。
2026年2月,持續報導模型的技術細節,其技術論文《LTX-2: Efficient Joint Audio-Visual Foundation Model》受到關注。
核心技術
LTX-2是一種基於DiT(Diffusion Transformer)架構的音視頻基礎模型,旨在通過單一模型生成同步的視頻和音頻。其核心技術採用非對稱雙流並行架構,通過視頻流(140億參數)和音頻流(50億參數)的協同處理,實現音視頻一體化生成。
LTX-2的技術核心是對潛變空間壓縮與生成解碼的再設計,採用類似於Stable Diffusion的UNet架構,但經過重新最佳化的編碼器可在更低維度下保持圖像品質。其技術組件包括混合擴散-變壓器架構、多GPU推理堆疊、原生QHD/4K渲染與多尺度預覽、幀級精度及多關鍵影格調節。模型支持語義引導擴散,能更準確地理解文字提示。
模型支持多模態輸入,文字、圖像、視頻、音頻、深度圖等皆可作為輸入,並能夠一次同步生成視頻與配套音頻(包括對話、配樂、環境音效)。模型通過可控低秩適配增強(LoRA)技術提供了高級條件控制功能,支持用戶通過多關鍵幀進行精細化創作控制。
LTX-2強調“高效推理”而非單純追求龐大參數量,傾向於小而快的方向,專為生產流程設計。它支持從6秒片段到20秒長視頻的生成,並支持最高4K解析度、約50FPS的高幀率輸出。模型經過最佳化,可在消費級GPU上運行,大幅降低了高質量音視頻生成的門檻。
核心功能
LTX-2 AI提供開源模型(Apache 2.0 許可證),支持本地部署和
ComfyUI集成。平台具備原生
音畫同步功能,可生成與視覺內容匹配的對話、環境音效和音樂。系統支持高達 50 FPS 的超高清(
4K)視頻生成,涵蓋文本到視頻和圖像到視頻兩種創作方式。
根據官方於2026年1月30日發布的路線圖,LTX-2計畫於2026年第一季度內推出新版本,將在細節保留、對齊一致性、音頻穩定、圖像到視頻行為、提示理解五大核心維度進行深度最佳化。具體改進包括引入新一代VAE以提升細節保留能力,強化條件對齊,最佳化音頻生成減少靜音和噪聲,改善圖像到視頻動態表現,以及更新文本編碼連線器增強提示理解。
使用方式
使用LTX-2創建視頻的步驟包括:輸入文本提示描述場景或上傳參考圖片;LTX-2處理輸入後生成帶有音頻的視頻;生成的視頻可以下載或通過API集成。
可通過
ComfyUI進行可視化操作,ComfyUI Manager中內置了相關節點。需安裝ComfyUI,在custom_nodes目錄下克隆LTX-2節點,下載模型檔案後載入使用。
LTX-2可在消費級GPU上運行,最低需要8GB顯存。在支持特定量化技術的GPU上運行時,運行效率可能有所提升,顯存占用降低。
生成視頻的寬度和高度必須能被32整除,幀數必須滿足(8 + 1)的整數倍。
運營模式
LTX-2採用徹底透明的開源策略,在GitHub上提供完整的模型權重、數據集、代碼及工具鏈。該模型強調可在消費級GPU上本地運行,最低僅需8GB顯存,降低了個人創作者和研究者的使用門檻。對於希望直接調用服務而非自行部署的用戶,
Lightricks提供了商業API接口。在技術生態方面,LTX-2已集成至Diffusers Python庫,並深度集成到
ComfyUI等可視化工作流工具中;此外,
NVIDIA為其開源權重版本推出了NVFP4/NVFP8量化模型,最佳化了在RTX系列GPU上的運行效率與顯存占用。
重要事件
2025年10月31日,
Lightricks正式推出其全新AI視頻生成模型LTX-2,該模型專為內容創作者設計,可在數秒內生成高解析度、風格一致且動作流暢的短視頻,並計畫集成於其旗下套用Videoleap和Facetune Video。2025年,Lightricks團隊發布技術論文《LTX-2: Efficient Joint Audio-Visual Foundation Model》(arXiv:2601.03233, 2025),系統闡述了模型的技術原理與架構。
2026年1月6日,在CES 2026上,NVIDIA宣布為Lightricks的LTX-2音視頻生成模型開源權重版本進行最佳化,推出NVFP8量化模型,旨在提升在RTX GPU上的性能並降低顯存占用,同時LTX-2模型於當日正式發布並開放下載。2026年1月7日,Lightricks正式開源LTX-2模型,公開了全部模型權重、代碼及訓練框架,實現了長達20秒、4K解析度且音畫同步的高清視頻生成能力。2026年1月,NVIDIA推出的NVFP4和NVFP8量化檢查點(Checkpoints)已在ComfyUI中直接開放下載,與LTX-2模型集成。