Stable Diffusion是由Stability AI開發的開源文本到圖像生成模型,能夠根據文本描述生成高質量、逼真的圖像,支持本地和雲端運行,適用於數字藝術創作、遊戲開發等領域。
基本介紹
- 外文名:Stable Diffusion Model
- 技術背景:Stability AI
- 最新模型:Stable Diffusion 3 Medium (SD3M)
Stable Diffusion是由Stability AI開發的開源文本到圖像生成模型,能夠根據文本描述生成高質量、逼真的圖像,支持本地和雲端運行,適用於數字藝術創作、遊戲開發等領域。
Stable Diffusion由Stability AI開源,基於潛在擴散模型(Latent Diffusion Model)。通過在隱空間而非像素空間進行擴散,Stable Diffusion提高了生成效率。Stable Diffusion對AI繪畫的普及和開源生態發展產生了影響。Imagen和DALL-E系列模型分別由Google和OpenAI開發,是文生圖模型。中文模型“太乙”由IDEA研究院CCNL團隊於2022...
Stable Diffusion 3 Medium是Stability AI於2024年6月12日開源的文本到圖像生成模型,參數規模達20億。Stability AI修改了其社區許可協定,允許年收入低於100萬美元的企業或個人開發者免費將其用於商業目的。該模型採用多模態擴散轉換器(MMDiT)架構和16通道VAE變分自編碼器,通過改進的Diffusion模型和多個文本編碼器(...
OOTDiffusion基於潛在擴散模型(Latent Diffusion Model, LDM),具體是基於Stable Diffusion的模型微調。其核心創新在於採用裝備融合(Outfitting Fusion)技術,在去噪 UNet 的自注意力層中採用裝備融合,並在訓練時執行裝備 dropout(Outfitting Dropout),以實現針對服裝特徵的無分類器指導。在工作流程中,模型將服裝圖像...
Stable Diffusion 3是Stability AI推出的新一代開源文本生成圖像模型,採用與OpenAI Sora相同的Diffusion Transformer架構和Flow Matching技術,提升了圖像生成的細節質量和可控性。核心功能 文本精準生成:遵循文本描述生成圖像。多模態架構:MMDiT支持多主題提示控制。高效流匹配技術:最佳化Rectified Flow採樣效率。動態參數適配...
6. Random Sampling Data Gathering in Wireless Networks with Gaussian Diffusion Model.7. An Updated Gaussian Plume Model for Tall Stacks.8. Theoretical and Experimental Study of Gaussian Plume Model in Small Scale System.9. 基於高斯擴散模型的中國四個典型化工園區含氟溫室氣體排放研究.
《擴散模型從原理到實戰》由李忻瑋、蘇步升等編著,人民郵電出版社於2023年8月出版。該書基於Hugging Face開源社區課程改編,系統闡述擴散模型的理論體系與技術框架。全書共8章,涵蓋擴散模型原理、退化過程、採樣方法(含DDIM反轉)等核心理論,並結合Stable Diffusion、ControlNet及音頻擴散模型等實戰案例解析技術套用。書...
1.2 Stable Diffusion 界面介紹 009 1.2.1 文生圖界面 009 1.2.2 圖生圖界面 010 1.2.3 訓練界面 010 1.2.4 設定界面 011 1.2.5 擴展界面 012 1.3 模型類型詳解 013 1.3.1 底模型(Base Model) 014 1.3.2 Embedding 模型 014 1.3.3 Hypernetwork 模型 014 1.3.4 LoRA
《商用級AIGC繪畫創作與技巧(Midjourney+Stable Diffusion)》由自由插畫師菅小冬(筆名丁小兮)編著,2023年11月清華大學出版社出版。該書基於人工智慧技術發展背景,系統梳理AI繪畫的商用創作體系,面向數字藝術從業者與教學需求。全書共10章,以Midjourney和Stable Diffusion雙平台為核心,分設工具操作與商用實踐兩...
Stable Audio Open Small是由Stability AI公司推出的音頻生成AI模型,主要面向移動端設備運行。該模型於2025年5月由Stability AI正式推出,無需依賴雲端處理即可在智慧型手機上執行音頻生成任務。Stable Audio Open Small是一種基於潛在擴散模型(latent diffusion model)的音頻生成模型,主要由三個組件構成:用於將波形壓縮...
《AIGC繪畫創作 Midjourney和Stable Diffusion生成創意圖像》是郭開鶴、張凡、葉貝嘉編著,2025年機械工業出版社出版的AIGC實例教程類圖書。全書分為基礎入門、Midjourney套用案例演練和Stable Diffusion套用案例演練三部分,講解AIGC藝術及軟體基礎知識,並通過案例展示創意圖像生成方法。本書具有實用性強、效果直觀、全彩...
IllusionDiffusion是基於Stable Diffusion和ControlNet技術的線上視覺錯覺藝術生成平台。需求人群 IllusionDiffusion適用於喜歡虛擬現實技術和社互動動的用戶,可以用於線上聚會、遊戲、探索等場景。產品特色 支持創建虛擬形象、社互動動,兼容多類虛擬現實設備,可通過手勢與語音操作,提供虛擬場景與遊戲,並採用靈活定價策略。
以及開創性地運用Stable Diffusion Model等深度生成模型實現了蛋白質的快速從頭設計,為人工蛋白質在醫藥等領域的套用提供了新的解決方案。2022年9月,在張辰宇 和 葉盛等多位科學家的推動下,中國生物物理學會批准成立了“人工智慧生物學分會”。該分會的成立將進一步加強人工智慧與生物學的交叉融合,促進該領域內的...
2025年8月的研究《Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models》提出了利用dLLM中間疊代結果提升推理性能的時序一致性方法,在數學與邏輯推理任務上取得了顯著效果。2026年2月發布的Stable-DiffCoder模型進一步證明,通過合理的訓練設計,擴散訓練範式本身可作為強大的表征學習手段,使其...
生數科技的核心技術架構為U-ViT,該架構較早將Diffusion Model與Transformer進行融合,於2022年9月提出。在底層算法層面,團隊研發了高速採樣算法DPM-Solver,該算法是較快的圖像生成算法之一,被Stable Diffusion等開源項目採用。基於此架構,團隊於2023年初開源了基於Transformer的多模態擴散大模型UniDiffuser,可完成文...
UniDiffuser是由清華大學朱軍團隊(生數科技團隊)於2023年3月開源的多模態擴散大模型,是基於U-ViT框架的此類模型。該模型在大規模圖文數據集LAION-5B上訓練,參數量近10億,支持圖文模態間的任意生成和轉換,如圖文聯合生成、文生圖、圖生文等。其架構基於U-ViT框架,而Stable Diffusion 3採用了DiT架構。研發背景...
網易AI創意工坊是由網易雲課堂推出的線上AI創作平台,基於Stable Diffusion技術,提供雲端AI繪畫、模型訓練及創意設計功能。該平台整合了150+預訓練模型,支持多設備協作,適用於電商、遊戲等行業的快速原型設計。其特色在於融合教育屬性,提供AI創意製作課程、作品集指導及名企合作機會,助力用戶實現職業轉型與副業創收。研...
FLUX.1是由Stable Diffusion創始團隊Black Forest Labs開發的開源AI圖像生成模型,擁有120億參數,於2025年1月推出Pro(商業級)、Dev(開源非商業)和Schnell(快速本地版)三個版本。該模型採用流匹配訓練和並行注意力技術,支持生成最高200萬像素圖像,在提示詞遵循、複雜場景構建及人體解剖學細節表現方面優於主流...
Comfyui_Object_Migration是實驗性項目,專注於Stable Diffusion(SD)模型。需求人群 目標客群為圖像處理、AI藝術創作、服裝設計等領域的專業人士和愛好者。該項目適合他們,因為它提供了一種創新的方法來處理和遷移圖像中的特定對象,在服裝領域可以激發新的設計理念和創作靈感。使用場景 使用該模型將卡通角色的服裝風格...
《多模態大模型:算法、套用與微調》是劉兆峰編著,2024年6月由機械工業出版社出版的圖書,屬於“智慧型系統與技術叢書”。全書分為算法原理篇與套用實戰篇:前者解析Transformer架構及其注意力機制、殘差連線等技術組件,詳述GPT系列模型演進、CLIP跨模態對齊及Stable Diffusion實現原理;後者聚焦文本生成、圖像生成與代碼生成...
and Yong-Tao Zhang, Multiple stable steady states of a reaction-diffusion model on zebrafish dorsal-ventral patterning, Discrete and Continuous Dynamical Systems - Series S 4 (2011), no. 6,1413–1428, DOI /10.3934/dcdss.2011.4.1413. MR 2754165 (2012a:35329)[74] Wenrui Hao, Jonathan D...
巨觀到微觀算法模型(M2M model)就是這樣一種模仿人類認知思維方式的算法模型。從抽象的意義來說,巨觀微觀算法思想利用從巨觀到微觀的過程實現了減治(Decrease-and-Conquer)的目的,探討了模擬人類解決問題從巨觀到微觀漸進過程的新方法。研究人類認知思維規律,模擬人類認知思維方法並套用於提高計算機智慧型一直是人工智慧...
2023年11月,阿里巴巴研究團隊在arXiv上發布了Animate Anyone的技術論文,該論文及展示視頻在海外社交媒體平台引發廣泛關注,相關視頻總播放量超過1億次,項目在GitHub上的Star數在短時間內超過1萬,並登上Reddit社區Stable Diffusion頻道熱度第一。2024年1月,基於Animate Anyone技術的“全民舞王”功能在阿里雲通義千問...
設立“AI博主精選”板塊,整合博主實測內容:涵蓋視覺生成類工具(如MidJourney、Stable Diffusion)上手技巧、AI寫作提效方法、數據處理工具實操教程,輔助用戶快速掌握工具核心功能,避免“找得到工具卻用不好”的問題 核心優勢 1.場景化整合能力強,找工具更高效:區別於“雜亂羅列工具”的平台,按6大高頻場景+工作環節...
第8章Stable Diffusion模型的最佳化與部署 8.1擴散模型簡介 8.2Stable Diffusion系列模型的技術演進 8.3最佳化和部署Stable Diffusion 3 Medium模型 8.3.1搭建開發環境 8.3.2下載權重檔案到本地 8.3.3導出SD3 Medium的OpenVINOTM IR格式模型 8.3.4編寫推理代碼,實現一鍵生成創意海報 8.4本章小結 第9...
具體而言,該項目將團隊已有的先進零樣本檢測器 Grounding DINO 與 Meta 的SAM模型相結合,並進一步集成了 BLIP(圖像標註)和Stable Diffusion(文生圖)等模型,旨在實現一個集自動檢測、分割和可控生成為一體的自動化視覺工作流。該項目由 IDEA 研究院的研究人員領銜,核心成員包括清華大學博士生劉世隆(也是 Grounding...
同年,公司推出“魔法運動筆刷”功能,可將靜態圖片轉換為動態視頻。此外,Runway參與了初代Stable Diffusion模型的開發。2023年6月,公司完成C輪融資,估值達到15億美元,並被《時代周刊》評為“2023年度最有影響力的100家企業”之一。2018年,Gen-1 視頻編輯發布,公開首款視頻合成產品,支持風格遷移編輯。2022年,...
IP-Adapter是於2023年提出的一種輕量級圖像提示適配器,其核心設計是解耦的交叉注意力機制。該適配器參數量僅為22M,旨在為預訓練的文本到圖像擴散模型(如Stable Diffusion 1.5和SDXL)增加圖像提示能力。IP-Adapter不僅能與文本提示結合實現多模態圖像生成,還可與ControlNet等現有可控工具兼容,實現聯合控制生成。它...
部分模型如glm-4-9b-chat-MNN、stable-diffusion-v1-5-mnn-opencl在iOS上暫不支持。獲取與使用 Android用戶可通過GitHub下載APK,具體地址為MNN/project/android/apps/MnnLlmApp/README.md。iOS用戶需通過源碼編譯獲取,源碼位於MNN/apps/iOS/MNNLLMChat。開源項目地址為GitHub - alibaba/MNN。需求人群 該套用適合...
包括“OptiDiff: Unsupervised Deep-Sea Image Enhancement via Optical Priors Guided Stable Diffusion”(ICME 2025)、“TMANet: Triple Multi-Scale Attention based Network with Boundary Association Loss for Superpixel Segmentation”(ICASSP 2025)、“Diving into Underwater: Segment Anything Model Guided Under...
