《 Stable Diffusion XL 1.0》是Stability AI 最新的旗艦圖像模型，也是當(dāng)前圖像生成領(lǐng)域最好的開(kāi)源模型。它能夠根據(jù)用戶(hù)輸入的文字描述，快速生成高質(zhì)量的圖像。使用非常靈活，可以用于創(chuàng)建各種類(lèi)型和風(fēng)格的圖像，包括藝術(shù)繪畫(huà)、照片、動(dòng)漫等。由于其高效快速生成圖像的能力，Stable Diffusion已經(jīng)成為許多設(shè)計(jì)師、插畫(huà)師等創(chuàng)意工作者的得力助手。

【Stable Diffusion XL 1.0介紹】

Stable Diffusion XL 1.0 閃亮登場(chǎng)，給你不一樣的色彩體驗(yàn)。

在大模型開(kāi)啟的 AIGC 時(shí)代，由明星 AI 初創(chuàng)公司 Stability AI 打造的文本到圖像生成模型 Stable Diffusion 可謂風(fēng)靡全球。

雖然從文本到圖像的生成模型并不少，但 Stable Diffusion 是最受歡迎的開(kāi)源模型。各路開(kāi)發(fā)者也基于 Stable Diffusion 模型進(jìn)行二創(chuàng)，推出各種各樣、花式繁多的 AIGC 應(yīng)用。

剛剛，Stability AI 正式推出了 Stable Diffusion XL（SDXL）1.0。文本到圖像生成模型，又完成了進(jìn)化過(guò)程中的一次重要迭代。

這是 Stability AI 最新的旗艦圖像模型，也是當(dāng)前圖像生成領(lǐng)域最好的開(kāi)源模型。

【Stable Diffusion XL 1.0主要功能】

生成速度更快、質(zhì)量更高： 該引擎可以更快、更可靠地生成文本，內(nèi)存消耗更低，錯(cuò)誤處理效果更好。該引擎還可以處理更長(zhǎng)、更復(fù)雜的輸入和輸出，而不會(huì)影響質(zhì)量或多樣性。

更多控制元素，增強(qiáng)自定義： 用戶(hù)可以根據(jù)自己的喜好和需求調(diào)整生成文本的語(yǔ)氣、樣式、長(zhǎng)度和格式。用戶(hù)在輸出過(guò)程中還可以指定關(guān)鍵字、短語(yǔ)或句子來(lái)指導(dǎo)生成過(guò)程。

更多反饋和指導(dǎo)： 該引擎為用戶(hù)提供有關(guān)生成的文本的更多信息和反饋，例如進(jìn)度、置信度和相關(guān)性分?jǐn)?shù)。引擎還會(huì)建議輸出的可能改進(jìn)或替代方案，例如重寫(xiě)、釋義或總結(jié)。

更多的集成和兼容性： 該引擎可以與用戶(hù)可能用于內(nèi)容創(chuàng)建或數(shù)據(jù)分析的其他平臺(tái)和工具配合使用，例如 Discord，Google Docs，WordPress 等。該引擎還可以從各種來(lái)源和格式導(dǎo)入和導(dǎo)出數(shù)據(jù)，例如文本文件、CSV 文件、JSON 文件等

【如何馬上體驗(yàn)到 SDXL 1.0？目前有幾種渠道】

在 SDXL 1.0 版本發(fā)布之前，Stability AI 在六月份推出的 SDXL 0.9 僅作研究用途。但從今天起，SDXL 1.0 將通過(guò) Stability AI 的 API 開(kāi)源開(kāi)放給開(kāi)發(fā)者，普通人也可以通過(guò)消費(fèi)級(jí)應(yīng)用 Clipdrop 和 DreamStudio 訪(fǎng)問(wèn)。

Clipdrop：https://clipdrop.co/stable-diffusion

DreamStudio：https://dreamstudio.ai/generate

Stability AI Platform：https://platform.stability.ai/

Github：https://github.com/Stability-AI/generative-models

此外，鑒于與亞馬遜的密切合作關(guān)系，SDXL 1.0 已經(jīng)登陸亞馬遜云科技的基礎(chǔ)模型托管服務(wù) Amazon Bedrock，而且還會(huì)登陸 Amazon SageMaker JumpStart。

【SDXL 1.0，什么進(jìn)化了？】

1. 生成概念與風(fēng)格更具挑戰(zhàn)的作品

SDXL 1.0 幾乎能夠生成任何藝術(shù)風(fēng)格的高質(zhì)量圖像，并且是實(shí)現(xiàn)逼真效果的最佳開(kāi)源模型。用戶(hù)可以在沒(méi)有任何特定的「靈感」的情況下進(jìn)行提示，確保風(fēng)格的絕對(duì)自由，生成各具特色的圖像。SDXL 1.0 在色彩的鮮艷度和準(zhǔn)確度方面做了很好的調(diào)整，對(duì)比度、光線(xiàn)和陰影都比上一代更好，并全部采用原生 1024x1024 分辨率。

除此之外，SDXL 1.0 可以生成圖像模型難以渲染的概念，例如手、文本以及空間的排列。

圖源：Stability AI 官網(wǎng)

圖源：Stability AI 官網(wǎng)

2. 語(yǔ)言更簡(jiǎn)潔、更智能

SDXL 1.0 只需幾句話(huà)就能創(chuàng)建復(fù)雜、細(xì)致、美觀的圖像。用戶(hù)不再需要用華麗的辭藻進(jìn)行修飾就能夠獲得想要的高質(zhì)量圖像。

它甚至能夠區(qū)分「The Red Square」（紅場(chǎng)，一個(gè)著名景點(diǎn)）和「red square」（紅色正方形）。

3. 微調(diào)和高級(jí)控制

有了 SDXL 1.0 ，根據(jù)自定義數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)比以往任何時(shí)候都要容易。可生成自定義 LoRA 或檢查點(diǎn)，減少數(shù)據(jù)處理的需要。Stability AI 正在利用專(zhuān)門(mén)用于 SDXL 的 T2I / ControlNet 構(gòu)建下一代任務(wù)特定結(jié)構(gòu)、樣式和組成控制。這些功能目前處于測(cè)試預(yù)覽階段，可以隨時(shí)關(guān)注微調(diào)的更新。SDXL 1.0 上的圖像控制也即將推出。

自 4 月 13 日發(fā)布 SDXL beta 版本以來(lái)，ClipDrop 用戶(hù)已經(jīng)使用該模型生成超過(guò) 3500 萬(wàn)張圖片，而 Stability AI 的 Discord 社區(qū)平均每天生成 2 萬(wàn)張圖片。

看看用戶(hù)使用 SDXL 1.0 的效果吧。

推特：@pratzlowcode

從網(wǎng)友的圖片生成效果來(lái)看，SDXL 1.0 在光線(xiàn)上把握更加精準(zhǔn)，光線(xiàn)效果、色彩對(duì)比更加真實(shí)。

推特：@foxtrotfrog

可以看到，在色彩的運(yùn)用上，SDXL 1.0 更加大膽，飽和度較高的情況下光線(xiàn)與陰影的細(xì)節(jié)依然在線(xiàn)。

推特：@ai_for_success

在這張圖片中可以看到，景深較為合適，主體突出，色彩之間的過(guò)渡，甚至真實(shí)度都十分優(yōu)秀。

推特：@sizubito

網(wǎng)友制作了 SDXL 0.9 與 SDXL 1.0 的對(duì)比圖，左邊為 SDXL 0.9 生成圖像，右邊為 SDXL 1.0 生成圖像。可以明顯看出二者對(duì)于色彩運(yùn)用的差距。SDXL 1.0 的色彩更加豐富且真實(shí)，光效表現(xiàn)也更加出色。

也有網(wǎng)友在 SDXL 1.0 中使用 Midjourney 中的舊 prompt，評(píng)論中紛紛感嘆，它的效果不比 Midjourney 差，甚至有些出乎意料的優(yōu)秀。

SDXL 1.0 細(xì)節(jié)：Base 和 Refiner 模型

Stability AI 將 SDXL 1.0 與各種模型進(jìn)行了對(duì)比測(cè)試：與 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比，人們更喜歡由 SDXL 1.0 生成的圖像。

SDXL 1.0 也是所有開(kāi)放式圖像模型中參數(shù)量最多的模型之一，它建立在一個(gè)創(chuàng)新的新架構(gòu)上，由一個(gè) 35 億參數(shù)的基礎(chǔ)模型和一個(gè) 66 億參數(shù)的細(xì)化模型組成。

完整模型包括一個(gè)用于潛在擴(kuò)散的專(zhuān)家混合管道：第一步，基礎(chǔ)模型生成（噪聲）潛在變量，然后用專(zhuān)門(mén)用于最終去噪步驟的細(xì)化模型對(duì)其進(jìn)行進(jìn)一步處理。

基礎(chǔ)模型也可以作為獨(dú)立模塊使用。細(xì)化模型為基礎(chǔ)模型的輸出添加更精確的顏色、更高的對(duì)比度和更精細(xì)的細(xì)節(jié)。

這種兩階段架構(gòu)可確保圖像生成的穩(wěn)健性，而且不會(huì)影響速度或需要過(guò)多的計(jì)算資源。SDXL 1.0 可在配備 8GB VRAM 的消費(fèi)級(jí) GPU 或隨時(shí)可用的云實(shí)例上有效運(yùn)行。

論文地址：https://arxiv.org/pdf/2307.01952.pdf

代碼地址：https://github.com/Stability-AI/generative-models

參考鏈接：https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

【編輯點(diǎn)評(píng)】

Stable Diffusion XL 1.0可以通過(guò)文本直接生成風(fēng)景、肖像、動(dòng)物、物品等多種類(lèi)型圖片，與之前相比更快、更穩(wěn)定，自由可控。無(wú)需顯卡電腦手機(jī)都可以免費(fèi)使用。