庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总

插件(extensions)及拓展脚本(scripts)

SD-webUI为保持代码整洁和便于管理,逐步将非核心功能解耦并转为插件和拓展脚本形式提供.

下载安装及使用方法

把你想用的拓展/脚本从对应的GitHub仓库中下载下来放到webui路径下的scripts（webui启动时会从中加载脚本）或者extensions（webui启动时会从中加载插件）文件夹下,然后重启下webUI程序就可以开始使用.

插件

11.12 更新 近期webUI更新后 现在可以在extension选项卡下直接输入你要安装的脚本的URL(下面介绍每个插件时会给出相应的仓库链接) 然后点击安装按钮即可自动帮你去完成上面下载安装及使用方法 段落中的手动下载安装流程

Dreambooth

dreambooth自训练现在可以在webUI里完成(作者就是曾经提交pr想要将dreambooth merge到webui主体里的那个大佬,随着webui规模不断庞大,原来的pr合并到主仓库变得不怎么现实,所以作者经过一段时间开发和完善 转而以extension形式提供dreambooth自训练的功能 )

插件地址: GitHub – d8ahazard/sd_dreambooth_extension

还是不推荐使用Dreambooth插件 插件所需好多依赖与webui本身有很多冲突 很容易崩 !!!

还是推荐基于diffuser库封装的方式 具体教程见下

aesthetic-gradients(根据美学权重优化图片)

插件项目地址

images-browser(历史记录画廊、原来是webui自带的)

插件项目地址

Deforum(输入:文本/图像/视频 生成 2D/3D动画)

插件项目地址

aesthetic-image-scorer(美学评分器)

插件项目地址

拓展脚本 scripts

使用:在txt2img 或 img2img 下底部选项里可找到脚本设置的位置

所有脚本文件位置在webui下的scripts文件夹下

自身内置

loopback(回环迭代)

连续多次图生图 每次的输出是下一次的输入 可用于草图迭代和修掉画面中不需要的东西

outpainting(外绘)

Outpainting用于扩展原始图像，并对创造的空隙进行了绘画。

X/Y plot & Prompt matrix
prompt matrix和x/y plot多用于演示,都是生成一个有好几张图组成的多格图、当你想要对比一个或多个词(艺术风格、人物细节描述等等)对最后图片的影响(prompt matrix的使用场景)亦或是一个或多个参数的不同值下(不同扩散次数、不同cfg值等等)生成的不同图片对比结果(x/y plot的使用场景)

需自行下载

SD Chad(美学评分器脚本版)

以上罗列了几个自己常用的或感兴趣的拓展和脚本,如需了解更多、可见官方汇总列表
webui官方插件汇总列表链接:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions
webui官方拓展脚本汇总列表链接:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Custom-Scripts#prompt-interpolation

---

文章下部分是对stable-diffusion-webui的相关核心和可选依赖的汇总分析,一来是便于小伙伴们在上手webui时遇到报错时更容易定位报错的原因、二是可以更加深入webUI的内部各部分组成及作用

核心依赖(2023.1.25更新)

(部署教程中先git clone下来然后自己 pip安装本体及他们的那些相关依赖)

2023.1.25更新 现在的结构 sd (midas是深度模型使用所需的)

几个月前旧版本的结构

• stable-diffusion(sd本体、webUI就是封装了个UI(当然还集成了一众优秀的功能)让我们能通过可视化界面而不是通过命令行参数使用SD绘画创作)
• BLIP (interrogate CLIP的依赖 负责img2img中描述input图像内容并输入至prompt框)
• taming-transformers (stablediffusion的高分辨率图像的生成)
• k-diffusion(为SD提供samplers(采样器)SDE(随机微分方程)和ODE(常微分方程))
• midas(负责为sd 深度模型提供支持)

sd工作原理图 (详情可去下面文章阅读)

• webui流程图

可选依赖全介绍及手动安装教程

(可以不装这些运行webui,直到你用到的时候再装,不过强烈建议装完省事)

• repositories路径下
• CodeFormer(程序部分)
  • git clone下来然后自己 pip安装本体及他们的相关依赖
  • 额外下载detection_Resnet50_Final.pth parsing_parsenet.pth两个预训练模型参数权重文件

• models路径下 (2023.1.25更新 ) 该路径下基本是各依赖用来存放读取各自所需的预训练模型文件

• CodeFormer(pth权重文件)(图片&脸部修复)
  • 下载pth到对应文件夹下
• torch_deepdanbooru(现在deepdanbooru的模型读取路径)
  • 把pt权重文件下到该路径即可
• deepbooru( 老黄历现在不需要了 只需准备上面torch_deepdanbooru的权重文件 deepbooru 分析图片的tag&自训练前对数据集的文本分析)
  • 安装相应依赖 (注意依赖中包含tensorflow及tensorflow-io)
  • github 上下载 https://github.com/KichangKim/DeepDanbooru/releases/tag/v3-20211112-sgd-e28
  • 解压后放到models/deepbooru目录下即可

• ESRGAN(图片修复)
  • 下载pth到对应文件夹下
• GFPGAN(用于三次元脸部修复的GAN)
  • 下载pth到对应文件夹下
• LDSR(用LDM来提升分辨率)
  • 下载pth到对应文件夹下并改名为model.ckpt
• SwinIR(另一种提升分辨率的模型)
  • 下载pth到对应文件夹下
• mmdet (yolo实现的自动生成蒙版的插件的依赖存放路径)

• VAE(见下面的文章)

• lora hypernetwork文件夹 存放lora和hypernetwork的模型文件

---

参考

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki

Roaming_info_for_latent_diffusion – 水铝英石

持续更新中

changlog

2023.1.25 更新现版本 各目录结构 及解释 所有所需权重文件已打包上传百度云方便大家使用

2023.1.12 stablediffusion模型探索食用指南

11.11 万众期待的dreambooth自训练现在可以在webUI里完成

拓展GitHub地址: https://github.com/d8ahazard/sd_dreambooth_extension

todo

depth2mask 插件教程

yolo自动做mask 插件教程

stylepile 插件教程