一、调研目的及结论

目的:

1.了解webui基础界面功能。

2.了解开源插件功能扩展,分析各种插件的特性与应用场景。

结论:

通过调研发现开源插件生态较完善,涵盖了图像生成、图像处理、模型管理、用户交互等多个方面。这些插件能为用户提供了更多的自定义选项,提升了创作的自由度和灵活性。

二、webui基本界面功能

界面截图如下:

Promat(CLIP): 正向提示词。

Negative prompt(CLIP):反向提示词。

Sampling method(采样器)指的是图像生成过程中使用的采样算法。
  LMS:适合生成结构复杂的图像,能够更好地捕捉细节。

  DDIM:该方法具有较快的生成速度和较好的图像质量,适合于大多数应用。

  DPM++ 2M:适合需要高保真度的场景,能够更好地保留细节,适合需要高保真度的场景。

Schedule type(VAE编解码器):指的是控制图像生成过程中学习率或噪声调度的策略。

  Automatic:根据内部算法自动选择最合适的调度策略。免去手动调整的复杂性。

  Exponential:指数调度,快速减小学习率或噪声。有可能导致细节损失。

  Simple:一种基础的调度策略,通常是指线性或直接的调度方式。

Sampling steps(步数)指的是在生成图像过程中使用的采样步骤的数量。

Hires. Fix:(高分辨率修复)是一个选项,旨在提升生成图像的分辨率和细节质量。提高分辨率、细节增强。

Refiner(图像后处理阶段)指的是一种图像精细化处理功能,旨在进一步优化生成的图像,使其更加清晰、细腻。处理强度、风格控制、减少噪声。

Width、Height:分别指的是生成图像的宽度和高度。

Batch count:指的是生成图像的批次数,即用户希望生成多少组图像。

Batch size:指的是每个批次中包含的图像数量。Batch size的设置会影响内存的使用。

CFG Scale:用于控制生成图像时对输入提示词的遵循程度。小于7属于低依赖,模型在生成时会更加灵活,可能会产生与提示不完全匹配的结果。大于12属于高依赖,模型会严格遵循用户的文本提示,生成的图像与提示高度一致。

Seed:指的是用于生成图像的随机数种子。随机性控制、结果可复现性,-1为使用默认随机数。

Script:指的是用户可以选择的生成脚本或算法,用于指定图像生成过程中的特定行为或效果。

   Prompt Matrix:用户可以输入多个提示词,系统会将这些提示组合成不同的生成请求。

   X/Y/Z plot: X/Y/Z Plot用户可以直观地看到不同参数组合下的结果差异。

Textual Inversion选项:增强模型对特定文本提示的理解。用户可以为特定的词汇或短语创建自定义的“标识符”,从而让模型在生成图像时更准确地反映这些特定的概念或风格。这一过程通常需要对模型进行微调,以使其能够学习这些标识符与图像之间的关系。

Hypernetworks 选项:Hypernetworks 是一种用于增强模型生成能力的技术(超网络模型训练),允许用户通过加载和使用额外的网络来改变或扩展基础模型的行为。

Checkpoints 选项:选项用于管理和加载模型的不同版本的模型。

Lora 选项:加载预训练的 LoRA 模型,或者通过自己的数据进行微调生成新的 LoRA 模型。

三、webui实用插件

LightFlow:工作流插件

一键保存所有的工作流数据包括垫图和其他第三方插件设置。输入完提示词和设置好不同参数后,只需要点击导出,就可以把当前的工作流导出为 .flow 格式的文件,下次想要使用的时候,再把文件拖进来就可以了。

导入工作流只需将.flow文件拖入界面相应区域,就能快速复现整个工作流,只需要上传工作流文件就可以出来一模一样的出图效果。

LightFlow 不仅支持上传文件,还支持读取 PNG Info 功能,把由 SD 生成的图片拖入框中就可以实现 PNG Info 的功能。

开源社区:https://www.lightflow.ai/

After Detailer人脸修复插件

在使用SD绘图的时候,默认的分辨率大小是512*512,这样设置的好处是出图效率高。但是如果涉及到人全身照的时候,经常会出现一个问题:脸部崩。主要原因是在一个比较低的像素画布上,绘制一个全身图,脸部能分配到的像素不够了。

提示词示例:”tunning female model, full body,seaside landscape, rocky cliffs, clear blue sky, white sand, flowing white dress, sunlight streaming through hair, captivating eyes, high level of detail, masterpiece”

效果图:

After Detailer插件支持修复脸部、手部、和全身。但是就目前使用情况来看,修复脸部效果最好。支持参数调整及提示词输入。

sd-webui-prompt-all-in-one:提示词插件

Prompt-all-in-one 插件功能主要包括自动中文转英文、一键转英文、快速修改权重、收藏常用提示词等。

使用 prompt-all-in-one 插件输入提示词后,插件会重新将所有提示词以标签的方式排列出来,方便修改和调整提示词位置及权重。

可以查看我们使用过的提示词并进行收藏、复制、使用等操作。

additional-networks:loar模型加载插件

它可以用来控制checkpoint+LoRa或者多个LoRa模型生成混合风格的图像,并且可以设置Lora模型的权重。

Lora模型可以理解为Stable-Diffusion中的一个插件,通过更新模型中的一小部分参数来实现对模型的微调,仅需要少量的数据就可以进行训练的一种模型。

Lora模型下载地址:https://civitai.com/

四、插件安装方式

添加插件有如下两种方式:

(1)通过webui界面安装


URL for git输入插件git仓库地址。

 Branch name 插件在git仓库上的分支。

 Local directory anme 本地安装目录位置。

(2)手动下载安装

手动下载插件上传到服务器,上传位置为webui根目录下的Extensions目录下。新下载的插件需要重启webui才能生效。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注