（圖文+視頻）老鹿學Ai繪畫：Stable Diffusion的模型分類以及使用|世界快資訊

今天分享內(nèi)容的視頻版如下，視頻已添加進度條及配音，文中涉及到的模型已上傳，想要原視頻以及模型的鹿友公眾號后臺回復“455”獲取：

【資料圖】

以下是圖文版內(nèi)容：

正文共： 3653字 52圖

預計閱讀時間： 10分鐘

可能是上了歲數(shù)了，更新頻次總是很慢，稍微弄一弄就覺得累，學東西感覺精力也不集中，后面我盡量更文快一點吧。

上一期我們分享了SD的安裝、文生圖的概述并且做了一次Ai繪圖初體驗，今天我們進一步分享一下SD模型的分類以及使用。

再次說明，我不是專業(yè)人士，文章內(nèi)容的認知僅限于軟件操作以及從網(wǎng)絡上學來的一點點理論知識并加上自己的理解。

01

SD模型的管理建議

開始SD模型的分類及使用介紹之前，這里先給大家在模型管理方面一點點小的建議。

首先，SD模型存放的文件夾是可以添加子文件夾的，并且支持中文，因此你可以根據(jù)自己的需求將模型進行分類存放：

其次你在C站或者其他網(wǎng)站下載模型的時候，建議最好把該模型的效果圖也下載一張下來，和對應的模型放在一起并且重命名為相同的名字：

這樣你在SD界面點擊顯示附加網(wǎng)絡面板的紅色按鈕時，不僅可以看到該模型的效果圖：

還可以根據(jù)你新建的子文件夾進行分類展示和選擇：

另外當你生成出一張你覺得不錯的圖片的時候，也可以鼠標停留在該模型名稱的位置。

會彈出用當前生成圖片替換預覽的提示，點擊這串提示就可以將你生成的圖片替換為模型封面了：

如果你在其他網(wǎng)站上下載，不清楚模型的類型，可以到秋葉開發(fā)的spell.novelai.dev/這個網(wǎng)站：

把你需要查詢的模型拖進去，它就會告訴你模型的類型，不過有些模型它會分析不出來，對于新手來說夠用了：

02

Checkpoint模型

接下來說一說模型的分類，SD常用模型大致分為五種，第一種我們稱為大模型或者主模型，主模型的存放路徑為SD安裝目錄\models\Stable-diffusion：

大模型中首先有一類模型我們需要了解，那就是官方模型，例如我這里下載的有官方模型1.5版本和2.1版本：

官方模型我們?nèi)粘：苌僦苯佑盟鼇砩蓤D片，它更多被當做底模用于訓練模型，C站上可以看到和選擇基礎模型的版本號：

而我們最常用的其實是除了官方模型之外的主模型，叫做Checkpoint，你甚至可以簡單理解幾乎所有模型都是基于官方模型作為底模來進行訓練得到的：

Checkpoint模型通常體積比較大，一般至少2個G，它可以直接用于生成圖像，不需要搭配其他的文件：

并且它們都有比較擅長生成的圖像類型，例如這個Anything v3就是專門用來生成二次元的：

而這個Realistic Vision v2就比較偏向寫實類別的：

03

VAE模型

VAE模型的存放路徑為SD安裝目錄\models\VAE：

說它是模型，但其實VAE更像是個濾鏡，在生成圖片過程中搭配著主模型使用，起到調(diào)色和微調(diào)的作用：

我們這里用Anything v3來簡單示范一下VAE的作用吧，例如我這里的生成一只貓坐在地上的圖像，并且沒有加載VAE：

然后我在固定住隨機種子的同時，加載這個叫做Anything v3的VAE，可以明顯看到生成的圖像色彩更鮮艷了：

需要單獨加載VAE的模型，在下載的時候都會有提示，并且VAE文件名稱通常也是與它對應的主模型相同：

但其實你加載其他VAE也是可以的，效果上會有差異，我這里加載了其他的VAE生成了一個對比圖大家可以看看：

另外現(xiàn)在大部分的主模型已經(jīng)內(nèi)置了VAE，一般來說不需要你單獨下載。

如果模型里沒有任何說明，那以生成圖的效果為準，不必要的情況下就不用加載VAE了。

不過也有例外的，比如我下載了一個叫做ReV Animated的模型，它的說明里有推薦使用的VAE：

而當我僅僅使用這個主模型不加載VAE的時候，生成圖時反而會出錯：

這個時候就需要你去加載作者推薦的VAE或者嘗試用其他的VAE才行了：

04

Embedding模型

Embedding模型又叫Textual Inversion模型，需要和主模型一起搭配使用：

它的存放路徑為SD安裝目錄\embeddings：

Embedding可以簡單理解為提詞打包模型，它可以生成指定角色的特征、風格或者畫風。

舉個例子，我這里要生成電鋸人中瑪琪瑪?shù)男蜗螅斘以谔嵩~框里輸入makima，SD似乎不認識這個人，因此生成的圖片和瑪琪瑪完全沒有關系：

而當我們使用瑪琪瑪這個Embedding模型時，可以看到提詞框內(nèi)會添加一個模型的提詞。

這個提詞其實包含了很多用于描述瑪琪瑪?shù)奶卣鞯奶嵩~內(nèi)容，因此在沒有其他額外提詞的情況下，它就已經(jīng)能夠為我們生成帶瑪琪瑪特征的圖片了：

再比如我這里有一個復古科幻電影風格的Embedding模型，當我正常輸入熊貓、街道等提詞的時候，它是這樣的：

當我載入這個Embedding模型之后，畫面的風格就變了，不過可能有時候會出錯，例如這里頭變多了：

沒關系，反向提詞里我們輸入many head，這樣就好了：

由于Embedding模型本質(zhì)是提詞打包，所以這類模型的體積通常很小，這既是它的優(yōu)點，也是它的缺點。

優(yōu)點是節(jié)省空間資源，但由于體積小所攜帶的信息少，因此在畫面、風格的還原度上可能差強人意，所以現(xiàn)在使用這種模型的也越來越少了：

05

Hypernetwork模型

Hypernetwork模型同樣需要搭配主模型一起使用，它最常用于畫風、效果的轉換，但同樣也可以用于生成指定的角色：

它的存放路徑為SD安裝目錄\models\hypernetworks：

例如我這里同樣生成一個男人的圖像：

然后我固定住了隨機種子，載入這個帶有透明人特效的Hypernetwork模型，可以看到提詞框里多了一些內(nèi)容：<hypernet:invisble_10:1>

Hypernet代表模型的類型，invisble_10代表模型的名稱，冒號后面的1代表著這個模型的使用權重，直接點擊生成就能得到一個透明人的效果了：

Hypernetwork模型相比于Embedding體積要大一些，在一些比較精細的效果上不是特別出眾，所以現(xiàn)在在使用度上也越來越少了：

06

Lora模型

最后就是最近最火的Lora模型了，它最大的特點就是幾乎圖像上的信息它都可以訓練，并且還原度非常高。

現(xiàn)在網(wǎng)絡上流行的很多Ai真人繪圖基本都是用的這類模型，甚至你可能會看到很多畫出來的網(wǎng)紅形象都很像，這是由于他們用的是同一款Lora：

這里額外提示一句，大家在使用Lora的過程中一定要有版權和法律意識，否則你可能會給自己帶來麻煩，具體詳見秋葉整合包中的用戶協(xié)議：

它的存放路徑為SD安裝目錄\models\Lora：

Lora模型同樣需要搭配主模型來使用，并且由于Lora訓練的時候是基于大模型訓練的，因此使用Lora配套的大模型通常效果會更好。

例如我很喜歡這個盲盒風格的Lora，在它的介紹頁面通常作者會寫是基于什么模型訓練的：

如果介紹頁面沒有寫，也可以通過作者生成的圖以及評論區(qū)點擊圖片右下角的符號看到是用的什么模型：

然后可以直接搜索把這個主模型也下載下來：

我們來嘗試使用一下這個Lora吧，例如我這里先用百度翻譯了一下一只可愛的貓咪戴著小獅子鬃毛樣式的帽子，提取到的關鍵詞是1cat,cute,hat in the style of a little lion's mane：

先生成一下圖找一個感覺不錯的隨機種子固定住，然后再進一步調(diào)整：

現(xiàn)在生成的圖我想把帽子去掉，但是保留小獅子鬃毛的那種感覺，所以我把hat in the style of a little lion's mane拆分成了little lion style,mane。

并且在小獅子前面加了一個golden金色的形容詞，在貓咪后面加了一個little的提詞：

先這樣吧，這個時候我們直接載入這個Lora模型，盲盒玩偶的感覺就出來了：

讓我們在此基礎上進一步調(diào)整一下圖像吧，這里我們先把秋葉安裝包里的起手式填寫進去，這些提詞基本就是對畫質(zhì)的描述，比較通用：

然后再把我們之前的提詞填寫進去生成看看效果：

接著提詞中我額外加了open mouth,flower,outdoors,grass,等內(nèi)容：

然后我覺得現(xiàn)在小獅子鬃毛的感覺又有點少了，所以用小括號括起來加冒號跟數(shù)值的方式提高鬃毛的權重，并且提高了一點點采樣步數(shù)：

最后PS里簡單調(diào)色加點文字看看效果吧：

我覺得還挺可愛的，沒想到就分享了一下SD的五種模型就寫了這么多內(nèi)容。

不知道大家有沒有暈，最后再用一個不太準確的例子類比一下這幾種模型的關系：

官方主模型：安卓原生系統(tǒng)

Checkpoint模型：基于安卓原生系統(tǒng)開發(fā)的其他安卓系統(tǒng)，例如小米的Miui，魅族的Flyme。

VAE模型：手機設置中調(diào)整顯示的亮度、對比度以及色彩模式的功能。

至于Embedding、Hypernetwork和Lora這三種模型，都是用來微調(diào)主模型的小模型。

可以簡單理解為主題市場中的各種主題，有的主題效果好點，有的主題效果差點，有的主題體積小點，有的主題體積大點。

更多詳細的內(nèi)容我們以后有時間再分享，希望今天的內(nèi)容對大家有所幫助，希望各位鹿友一鍵三連支持哦！

更多內(nèi)容歡迎關注公眾號：

本文由“野鹿志”發(fā)布

轉載前請聯(lián)系馬鹿野郎