通義萬相

通義萬相是阿里雲通義系列AI繪畫創作大模型，由阿里巴巴研發，該模型可輔助人類進行圖片、視頻創作，於2023年7月7日正式上線。

2023年，阿里研發的組合式生成模型Composer在國際AI頂會ICML 2023上發表。2023年7月7日，基於組合式生成模型Composer研發的阿里雲通義大模型新成員通義萬相正式上線。2024年9月19日，阿里雲通義萬相發布全新視頻生成模型。2025年1月9日，通義萬相升級推出萬相 2.1 視頻生成模型，其在視頻生成、圖像生成兩大能力均有顯著提升。2025年2月25日晚，阿里巴巴宣布全面開源旗下視頻生成模型通義萬相2.1模型。2月28日，浙文互聯宣布通義萬相接入其AIGC超級內容工廠——好奇飛梭，同日，通義萬相接入榮耀智慧型體，用戶可通過終端體驗AI功能。通義萬相可通過對配色、布局、風格等圖像設計元素進行拆解和組合，提供高度可控性和極大自由度的圖像生成效果。具備文字作畫、AI生視頻等功能。通義萬相大模型覆蓋文本生成、圖像理解、視頻理解、音頻理解、圖像生成、視頻生成等全模態場景，輔助人類進行圖片創作，可套用於影視創作、動畫設計、廣告設計、藝術設計、電商、遊戲和文創等套用場景。

通義萬相的問世意味著阿里雲在大模型領域已經具備處理或生成文本、語音和圖片等模態的能力。通義萬相視頻生成大模型集成了多項創新技術，有效解決畫面表現力和大幅度運動等視頻生成技術難題。

基本介紹

• 中文名：通義萬相
• 所屬公司 ：阿里雲 
• 上線時間：2023年7月7日 
• 功能：文字作畫、文生視頻、圖生視頻等  
• 套用領域：影視創作、動畫設計、廣告設計、藝術設計、電商、遊戲和文創等套用場景  
• 研發框架：阿里巴巴研發的組合式生成模型Composer 
• 軟體類型：AI繪畫創作大模型

發展歷史

研發背景

2023年，阿里巴巴研發的組合式生成模型Composer在國際AI頂會ICML 2023上發表，其可通過對配色、布局、風格等圖像設計元素進行拆解和組合，提供高度可控性和極大自由度的圖像生成效果，僅需一個模型即可支持多類圖像生成類任務能力。

正式上線

2023年7月7日，基於組合式生成模型Composer研發的阿里雲通義大模型新成員通義萬相正式上線，並接入釘釘斜槓“/”，用戶陸續可通過“/”在釘釘文檔、群聊、會議等場景中，喚起做圖、繪畫等圖片生成服務。通義萬相接入釘釘斜槓“/”後，提供更豐富的創作能力，用戶不僅可藉助文檔智慧型助手，讓AI創作文章、撰寫方案，還可以生成不同風格的配圖、插畫；或在聊天過程中，生成圖片、表情等。

2024年9月19日，在2024雲棲大會上，阿里雲通義萬相發布全新視頻生成模型，支持文生視頻、圖生視頻等，還有插畫設計、塗鴉作畫、局部重繪、短片創作、配樂生成等場景化能力。

全新升級

2025年1月9日，通義萬相迎來升級，推出萬相 2.1 視頻生成模型，在大幅度複雜運動、物理規律遵循、藝術表現等方面全面提升。根據權威評測榜單 VBench 的信息顯示，新版通義萬相登上榜首位置，超越混元、海螺 AI、Gen3、Pika等國內外視頻生成模型。VBench 榜單顯示，通義萬相在運動幅度、多對象生成、空間關係等關鍵能力上拿下最高分，並以總分 84.7% 的成績獲得第一。

全面開源

2025年2月25日晚，阿里巴巴宣布全面開源旗下視頻生成模型通義萬相2.1模型。通義萬相2.1模型基於Apache2.0協定，14B和1.3B兩個參數規格的全部推理代碼和權重全部開源，同時支持文生視頻和圖生視頻任務，全球開發者可在Github、HuggingFace和魔搭社區下載體驗。14B模型在指令遵循、複雜運動生成等方面表現突出，1.3B版本能在消費級顯示卡運行，僅需8.2GB顯存就可生成高質量視頻，適用於二次模型開發和學術研究，極大降低了使用門檻。2月28日，浙文互聯宣布通義萬相接入好奇飛梭，同日，通義萬相等多款語言、視覺理解、圖像生成模型接入榮耀 YOYO 智慧型體，用戶可通過 Magic7 系列手機等終端體驗 AI 功能。3月3日，開源社區Hugging Face最新榜單顯示，開源僅6天的阿里萬相大模型已反超DeepSeek-R1，登頂模型熱榜、模型空間榜兩大榜單，成為近期全球開源社區最受歡迎的大模型。根據最新數據，萬相2.1（Wan2.1）在Hugging Face及魔搭社區的總下載量已超百萬，在Github的Star數超6k。

2025年4月17日，通義萬相宣布“首尾幀生視頻模型”開源。據介紹，該模型參數量為14B，是業界首個百億參數規模的開源首尾幀視頻模型。它可根據用戶指定的開始和結束圖片，生成一段能銜接首尾畫面的720p高清視頻。

框架原理

通義萬相之所以能“手把手”帶著玩家玩轉AI文生圖，主要是因為其本身基於阿里研發的組合式生成模型Composer，它是一種基於擴散模型的“組合式生成”框架，該框架基本原理是先將圖像拆解成不同設計元素（配色、草圖、布局、風格、語義、材質等），再使用AI模型將這些元素重新組合，中間使用的元素可以自由編輯。假設有100張圖片，每張圖片拆成8種元素，則全部元素的組合方式有1008種，這被阿里雲稱為“組合爆炸”，可以給人類設計師生成圖片提供極大的自由度和想像空間，而極強的細分下，也讓用戶能夠生成符合自己想法的圖片。

針對精準理解和模擬物理世界是當下視頻生成模型的核心難題，通義萬相團隊採用自研高效的VAE和DiT架構，有效增強時空上下文關係建模能力。在DiT的設計中，全新通義萬相使用時空全注意機制，這一機制讓模型能夠更準確地模擬現實世界的複雜動態；團隊還引入了參數共享機制，不僅提升了模型的性能，還有效降低了訓練成本；此外，針對文本的嵌入進行最佳化，實現更優的文本可控性的同時也減少了計算需求。在視頻VAE方面，通義萬相設計了一種創新的視頻編解碼方案。通過將視頻拆分成若干塊（Chunk）並快取中間特徵的方式，代替直接對長視頻的E2E編解碼過程，實現顯存的使用與原始視頻長度無關，從而能夠支持無限長1080P視頻的高效編解碼，這一關鍵技術為任意時長視頻的訓練提供了新的路徑。

在全新架構下，通義萬相在大幅度的肢體運動和肢體旋轉場景的視頻生成上表現更穩定，即便是花樣滑冰、游泳、跳水等運動視頻也能保持肢體協調並符合正常運動軌跡。通義萬相在文字視頻生成上實現了突破，成為首個支持中文文字生成能力、且同時支持中英文文字特效生成的視頻生成模型，可滿足廣告設計、短視頻等領域的創作需求。例如，用戶輸入“平拍一位女性花樣滑冰運動員在冰場上進行表演的全景。她穿著紫色的滑冰服，腳踩白色的滑冰鞋，正在進行一個旋轉動作。她的手臂張開，身體向後傾斜，展現了她的技巧和優雅”，通義萬相即可精準理解語義，並生成一段接近專業滑冰運動員的視頻。

功能介紹

通義萬相基於阿里研發的組合式生成模型Composer，其可通過對配色、布局、風格等圖像設計元素進行拆解和組合，提供高度可控性和極大自由度的圖像生成效果。在基礎文生圖功能中，可根據文字內容生成水彩、扁平插畫、二次元、油畫、中國畫、3D卡通和素描等風格圖像；在相似圖片生成功能中，用戶上傳任意圖片後，即可進行創意發散，生成內容、風格相似的AI畫作；該模型還在業內率先支持圖像風格遷移，用戶上傳原圖和風格圖，可自動把原圖處理為指定的風格圖。

文字作畫

在通義萬相對話框輸入文字提示詞，生成相對應的圖片，支持中英文輸入，支持智慧型擴寫輔助創意，提供預設提示詞快速開始使用。通義萬相提供結構化的常用提示詞內容，分類包括風格、光纖、材質、色彩、構圖等，可以復用咒語快速得到想要的效果。通義萬相支持16:9、4:3、1:1、3:4、9:16等多種預設比例選擇，以適應不同場景、終端的差異化使用訴求。並可通過提示詞（主體+場景+風格）提升畫面的品質感與控制力。

通義萬相的基礎文生圖功能中，可根據文字內容生成水彩、扁平插畫、二次元、油畫、中國畫、3D卡通和素描等風格圖像；在相似圖片生成功能中，用戶上傳任意圖片後，即可進行創意發散，生成內容、風格相似的AI畫作；該模型還在業內率先支持圖像風格遷移，用戶上傳原圖和風格圖，可自動把原圖處理為指定的風格圖。

文生視頻

在通義萬相對話框輸入文字提示詞，描述視頻的畫面和運動過程，生成一段視頻內容。支持中文和英文，支持16:9、4:3、1:1、3:4、9:16等多種比例選擇，以適應不同場景、終端的差異化使用訴求。通義萬相提供靈感擴寫功能，可以根據簡單的提示詞內容，通過智慧型擴寫獲得更完善的提示詞描述，顯著提升視頻畫面豐富度與表現力。並可通過提示詞（主體+場景+風格）提升畫面的品質感與控制力。

圖生視頻

在通義萬相對話框上傳或拖拽一張圖像作為視頻的首幀，輔以文字描述視頻的運動過程和運鏡效果，上傳圖像支持任意給裁剪，支持中文和英文提示詞描述。對上傳的圖像支持任意比例或預設比例裁剪，方便對圖像進行構圖和二次創作，支持旋轉。並可通過提示詞（主體+場景+運動）來描述視頻中所包含的內容和運動過程，提示詞越完整、精確和豐富，生成視頻的品質越高，且越貼近期望生成的內容。

功能亮點

拿捏中國風，AI讓創意走進現實

通義萬相2.1在本屆春晚中的參與可謂是全方位、全流程的，涵蓋從預告片到現場舞美等多個環節。這款模型能準確理解多樣的藝術風格，為創意工作者提供了有力的創作工具，幫助他們將腦海中的想法變為現實。對於中國風的內容，通義萬相可謂是手拿把掐。在央視春晚預告片中，通義萬相文生圖讓中國非遺蘇繡煥發新生。萬相不僅成功捕捉了蘇繡的整體藝術風格，還將細節還原到每一根絲線，而每一副畫面的風格控制也較為穩定，最終給這項千年傳統技藝帶來了別開生面的呈現形式。同款工具還在通義官網中上線，點擊網站上放的“非遺刺繡”互動玩法，用戶就可以輸入文字，即刻生成一張刺繡圖。僅需等上幾秒鐘，便可生成一隻栩栩如生的刺繡鳳凰。

春晚舞台上的諸多舞美效果也由通義萬相提供支持。例如，央視春晚節目《方的言》舞台背景的毛氈效果，便是由通義萬相的文生圖、圖生視頻等技術實現。圖中的高樓、古建被轉化成了溫暖、柔和、立體的毛氈畫，與歌曲的主旨相得益彰。在莫文蔚與毛不易合唱的《歲月里的花》節目中，阿里通義萬相利用圖像風格化和首尾幀視頻生成技術，生成了沉浸式的油畫風舞美效果。

通義萬相技術實現的央視春晚節目《方的言》舞台背景

AI業內炙手可熱

在AI業內1000餘名創作者參與的2025年AI春晚中，通義萬相為三分之一的節目提供了技術支持，升級後的模型能更好地理解和模擬物理世界，最終為觀眾呈現了極佳的觀影體驗。其中，取材自南宋畫家劉松年名畫《四景山水圖》的同名AI MV，一亮相便引來眾多網友的稱讚。

通義萬相製作的AI MV《四景山水圖》

通義萬相顯著改善了困擾視頻生成模型的幻覺問題，尤其是在涉及複雜肢體動作的畫面中。通義萬相團隊自研了VAE和DiT架構，增強了模型的時空上下文建模能力，讓複雜的肢體運動、大幅度動作、鏡頭的移動都能穩定展現。在AI MV《四景山水圖》中，通義萬相2.1完美地呈現了“擁爐對酒，折梅入瓶”的詩意畫面。畫面中人物的手型、持杯動作都十分自然，溫酒的熱氣蒸騰也得到不錯的還原。即便是處理折梅入瓶這樣細緻入微的動作時，通義萬相2.1也沒有出現翻車的情況。人物飲茶、放杯、合書、轉身的動作一氣呵成，運動軌跡流暢，人物與杯子、書本的互動也符合物理規律。《四景山水圖》中的水墨畫風格鮮明，人物、花鳥傳神，還精準把握到了留白這一中國傳統藝術中的獨特審美理念，給觀眾以無限的想像空間。

通義萬相製作的AI MV《四景山水圖》截圖

通義萬相具備文生組圖能力，DiT架構增強了文生圖的上下文能力，通義萬相首次實現了中文文字視頻生成功能，能在圖片與視頻中準確呈現中文內容。此外，通義萬相還支持藝術字一鍵生成，文字還可以加上視頻特效選項，如過渡、粒子效果、模擬等。可對多張圖像進行拼接與聯合描述，輕鬆實現關聯圖像間的組合生成，解鎖了通義萬相生成電影分鏡、四格漫畫、情侶頭像等高度關聯畫面的能力。

通義萬相生成的中文文字視頻

套用場景

通義萬相大模型覆蓋文本生成、圖像理解、視頻理解、音頻理解、圖像生成、視頻生成等全模態場景，輔助人類進行圖片創作，可套用於影視創作、動畫設計、廣告設計、藝術設計、電商、遊戲和文創等套用場景。

未來發展

縱觀通義萬相的全面能力升級和多項跨界合作，未來這款模型走進更多的套用場景，憑藉其疊代升級的視頻質量、真實性，讓視頻生成由AI公司秀肌肉的“角斗場”真正轉變為能產生實際效益的生產力工具。例如，影視製作團隊能用通義萬相快速生成多個備選方案，直觀展現視覺效果；也可以直接生成部分場景，極大地降低影視後期特效的成本。電子商務場景里，增強的圖像與視頻生成能力或許能用於宣傳品生成、AI試衣等環節，在提升消費體驗的同時還能降低成本。而在藝術領域，通義萬相的風格化能力和複雜提示詞的理解能力，能幫助用戶快速生成具有特定風格的藝術作品，或是對自己原創的藝術作品進行高效的再創造、再利用，節省部分重複性勞動，讓創作者能專注於創意本身。此外，通義萬相還具備簡潔直觀的互動界面，這意味著即便是非專業人士也能享受到這項技術的便利，顯著降低創作門檻，使更多普通用戶能夠輕鬆創作高質量的視頻內容，滿足個性化需求。

影響意義

通義萬相的問世意味著阿里雲在大模型領域已經具備處理或生成文本、語音和圖片等模態的能力。通義萬相視頻生成大模型集成了多項創新技術，有效解決畫面表現力和大幅度運動等視頻生成技術難題。針對運動生成和物理模擬等難點最佳化算法，實現了大幅度主體運動和運鏡控制，並有效模擬真實世界物理特性；設計了高壓縮比、高質量視頻VAE框架，有效降低視頻信息冗餘，並保持高質量視頻重構能力；同時，基於輕量微調框架和精選數據集最佳化訓練，在中式傳統元素、風格化視頻生成上表現更好。

相關註冊

截至2023年7月7日，阿里巴巴達摩院（杭州）科技有限公司已申請註冊“通義萬相”商標，國際分類為網站服務、科學儀器、廣告銷售等，商標狀態為等待實質審查或初審公告。

相關評價

阿里旗下的通義萬相在春晚這一全國矚目的舞台上，展示了視頻生成技術令人矚目的顯著進步。通義萬相憑藉對真實物理規律的深度理解、複雜影視效果的完美呈現以及穩定清晰的輸出能力，幾乎滿足了人們對視頻生成模型理想形態的全部期待。這款模型在落地場景時的積極探索和套用嘗試，更為視頻生成賽道帶來了廣闊的想像空間，有望引領該領域的新趨勢。（網易新聞 評）