VeOmni

VeOmni是位元組跳動（ByteDance）種子實驗室於2025年8月推出的一款全模態AI訓練框架，可以解決全模態AI模型訓練中的諸多技術難題。

2025年8月14日訊息，位元組跳動Seed團隊發布並開源了VeOmni。

基本介紹

• 外文名：VeOmni
• 所屬企業：ByteDance

發展歷程

2025年8月14日訊息，位元組跳動Seed團隊發布並開源了VeOmni。

性能表現

能讓 300 億參數的全模態專家混合模型在128個GPU上實現每秒每GPU處理超過2800個tokens的速度，還能處理長達16萬個tokens的超長內容。

在實驗中，從8到128個GPU的配置下，7B到72B參數的模型都能找到適合的並行策略組合。例如處理Qwen2-VL 7B模型時，序列長度從8K擴展到256K，系統能保持穩定訓練效率；處理Qwen2-VL 72B模型，在128個GPU 配置下處理96K長度序列時，仍能維持54.82%的模型浮點利用率（MFU）。

與TorchTitan框架對比，在Qwen2-7B、Qwen2.5-32B、Qwen2-72B等模型測試中，VeOmni在吞吐量、記憶體利用效率上均占優，尤其在處理長序列和大規模模型時優勢明顯，還支持專家混合模型訓練，而TorchTitan無法做到。

VeOmni採用以模型為中心的分散式訓練方案，可將複雜的分散式並行邏輯與模型計算解耦，為全模態模型組合設定高效的並行訓練方案。這一方式可大幅降低工程開銷，提升訓練效率和擴展性，將數周的工程開發時間縮短至幾天。

實際套用

能同時處理多種模態數據，支持在文本、圖像、視頻、音頻等多個領域的數據集上進行訓練，採用智慧型數據處理策略和實用的訓練策略，可在實際 AI 開發場景中發揮作用。