Stable Diffusion 用插件管理NNN个模型

当初步涉足 Stable Diffusion,可能会被各种新概念和模型搞得头大。好比我们作为新晋的魔法师,需要理解如何巧妙使用各种法师装备——也就是这些模型,以更好地应对问题,发挥出最大效果。

要了解一个被称为 safetensors 的概念。这是许多模型后缀的名字,即使模型的后缀五花八门,但 safetensors 始终占据一席之地。这是因为 safetensors 支持各种 AI 模型,在它出现之前每种 AI 模型都有自己的独特后缀。因此每种模型既可以使用 safetensors,也可以使用其自有的后缀,这使得新手们在入门时可能会感到迷惑。

实际上safetensors 是由 huggingface 研发的一种开源的模型格式,它具有多项优势:能够有效防止 DOS 攻击、加载速度快、支持懒加载以及具有高度的通用性。因此,现在大多数开源模型都会提供 ‘safetensors’ 格式。

模型介绍

在这里插入图片描述

  1. Checkpoint|Stable Diffusion:Checkpoint 是 Stable Diffusion 中最重要的模型,也被视为主模型,几乎所有操作都需要依赖它进行。所有的主模型都基于 Stable Diffusion 模型进行训练,因此有时会被称为 Stable Diffusion 模型。
  2. LoRA 和 LyCORIS:这两种模型是微调模型,通常用于控制画风、生成的角色以及角色的姿势等。
  3. Textual Inversion:这是一种文本编码器模型,用于改变文字向量,可以将其理解为一组 Prompt。
  4. Hypernetworks:Hypernetworks 模型用于调整模型神经网络权重,进行风格的微调。
  5. ControlNet:这是一种非常强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等。
  6. VAE:VAE 模型通常用于修正图片的亮度和饱和度、进行画面校正以及补光等。
  7. CodeFormer:这是一种修复模型,通常用于提高图片分辨率、将黑白照片修改成彩色照片、人脸修复等。

一览表格

在 Stable Diffusion 中通过 Checkpoint 控制图片的主要风格;通过 VAE 对图片进行补光和亮度调节;通过 LoRA 和 LyCORIS 对模型进行风格、角色控制;通过 Textual Inversion 简化 Prompt;通过 ControlNet 进行姿势、色彩控制和修复。

模型名称 作用 后缀名 大小 在 WebUI 中的文件夹
Checkpoint 主模型 .ckpt 或 .safetensors 2G - 7G models/Stable-diffusion
LoRA 和 LyCORIS 微调模型,一般用于控制画风、控制生成的角色、控制角色的姿势等等 .safetensors 2G - 7G models/Stable-diffusion
Textual Inversion 文本编码器模型 .pt 或 .safetensors KB 级别 embeddings
Hypernetworks 调整模型神经网络权重,进行风格的微调 .pt 或 .safetensors 20M - 200M models/hypernetworks
ControlNet 强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等等 .safetensors KB 级别 models/ControlNet
VAE 图片亮度和饱和度的修正、画面较正和以及补光等 .pt 或 .safetensors 335M 或 823M models/VAE
CodeFormer 修复模型,修复人脸、提高分辨率等 - - models/codeformer

模型使用

将对应的模型仍到对应的文件夹下即可。
在这里插入图片描述
在这里插入图片描述

在文生图与图生图界面点击Show/hide extra networks在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_20288327/article/details/131560880