我要评论
网络分类
当使用sd webui绘图时，为了提升绘图质量，可以多种网络混合使用，可选的网络包括了模型、vae、超网络、lora和嵌入。
其中，模型就是我们所熟知的最核心的生成图片的稳定扩散模型，不需要额外的文件就可以直接运行，大小也最大，通常在2gb以上。
而其他网络本质上是依附于模型的插件，不能独立运行。在这其中，vae是模型中用于从潜空间生成图片的网络模块，大小通常为几百mb，注意模型本身自带vae，但是你可以用选择的其他vae替换掉这部分；超网络是添加到交叉注意力层的附加网络模块，会改变模型结构，大小通常为几百mb；lora（low-rank adaption，低秩自适应）可以修改交叉注意力层的参数权重，不改变模型结构，大小同样为几百mb；嵌入则可以看做是一种特殊的提示词，它可以影响模型对文本的编码层，通常为 10-100 kb。
从效果和流行程度上来看，vae>lora>嵌入>>超网络，所以接下来我们重点介绍模型、vae、lora和嵌入这几部分。
模型
基座模型
虽然当你打开熟悉的c站寻觅模型时，可能会看到各种奇奇怪怪让人眼花缭乱的名字，但这些模型并不是创作者自己从零开始创造的，而是基于stable diffusion官方发布的一系列基座模型训练而来。在模型卡片的右侧，可以看到它所基于的基座模型（base model）：
按发展的时间顺序，基座模型有这样几个系列：
- sd1.x：包括了最早的sd1.4和sd1.5，图像大小一般为512×512，没有什么生成限制，sd1.5至今长盛不衰。
- sd2.x：包括了后来的sd2.0和sd2.1及其生成图片大小为768的版本。注意这类模型虽然在绘画效果尤其是手部上更好，但不支持nsfw和名人内容，因此并不受欢迎。
- sdxl：参数量大大增加，对自然语言的理解能力大大增强，生成画面更加细腻真实，生成尺寸一般设为1024×1024。基座模型包括一个基础生图模型和一个用于精修的refiner模型，使用时分文生图和图生图两阶段。
- sdxl turbo：基于sdxl 1.0开发而成，由于使用了一种全新的对抗扩散蒸馏技术（add），可将图像所需的生成步骤减少至1—4步，从而实现秒级出图。
衍生模型
上述基座模型的图片生成能力一般比较平庸但均衡，基于这些基座模型，开发者可以使用谷歌提出的dreambooth方法（dreambooth : it’s like a photo booth, but once the subject is captured, it can be synthesized wherever your dreams take you）在自己构建的数据集上做微调，使其特别擅长生成某种主题或风格的图片，也就是特定领域的衍生模型。这也是目前最为广泛使用的一类模型。
按照生成的风格不同，衍生模型大致可分为二次元模型、2.5d模型和写实风格模型，下面将具体介绍一些常用模型的信息和使用方法。
二次元模型
顾名思义，主打动漫风格的模型。
- orangemixs
- anything
- abyssorangemix3
- elysium
- elysium anime
- copax anime xl
- 古风大模型xl gufengxl
- aam xl (anime mix)
- sdxl turbo unstable diffusers
2.5d模型
介于二次元和三次元的模型，主打一个梦幻，看上去有一种“美得不真实”的感觉。
- 3dkx v2
- curiousmerge 2.5d
- anrealspicemix
- dreamshaper
- dreamshaper lcm快速版
- albedobase xl
- colossus project xl
- dreamshaper xl
- dreamshaper xl turbo
- dynavision xl
- fantastic hacker_style_bailing-奇幻骇客
- fenrisxl
- protovision xl
- 国风4 guofeng4 xl
- brixl | a must in your toolbox
- [lah] mysterious | sdxl
- turbovisionxl - super fast xl based on new sdxl turbo
写实风格模型
看上去有真实感，难以看出是ai的作品。
- basil mix
- chilloutmix
- urpm
- f222
- absolutereality
- absolutereality lcm快速版
- majicmix realistic 麦橘写实
- leosam’s moonmix utopia | 乌托邦
- copax timelessxl
- copax timelessxl turbo
- juggernaut xl
- leosam’s helloworld sdxl
- leosam helloworld turbo + lcm
- sds_film / 胶片摄影_xl
- icbinp - “i can’t believe it’s not photography” lcm快速版
- ⊣ realities edge xl ⊢ ⋅ lcm+sdxlturbo!
- fantasyrealityfusionxl
名称解读
当模型过多的时候，很多时候我们会记不清它们的特点和用法，但其实从模型的名称里，就可以看出一些重要信息：
- 安全性：文件名后缀为ckpt意味着用 pickle 序列化文件，可能包含恶意代码；而safetensors只包含张量数据，更加安全。
- 完整性：pruned是完整版，emaonly（ema）是裁剪版，如果是想要自己练模型的话，需要下载完整版。
- 非文生图功能：inpainting用于图片重绘，upscaler用于图片超分。
- 是否使用加速：lcm即latent consistency models（潜在一致性模型），可用少数几步推理就生成图像，可大大加快生成速度。如果lcm和turbo同时出现，那只能恭喜你捡到宝了。
- 是否需使用vae：vae是可以内置到模型里面的，如果包含
no vae或vae，意味着模型内置了基座模型的默认vae，如果包含baked vae，意味着模型内置了自己重新训练的vae，这两种情况下都可以选择不加载额外vae。
vae
如果你对模型的生成效果不满意，可以在使用时设置一个匹配的vae（variable auto encoder，变量自动编码器）模型。它可以融入到模型结构中，常常能让色彩更丰富，图片更清晰，改善手部和面部，简直是体虚大模型的必备保健品。
许多模型都会发布自己的vae，但我一般常用的只有三个，对于sd1.5及其衍生模型，如果想偏动漫风一些，可以使用kl-f8-anime2；如果想偏真人，可以使用vae-ft-mse-840000-ema-pruned。对于sdxl和sdxl turbo，可以使用原生的sdxl_vae。
lora
lora文件一般以safetensors或ckpt作为后缀名，使用时需在提示中输入特定格式语句lora:filename:multiplier，其中filename为名字，multiplier为权重。
- lora分为很多种，功能包括绘制人脸、美化人体、绘制服饰、添加风格、加速运算等。
- 需要注意的一点是，一个lora一般只能针对一类基座及其衍生模型，不要跨用。
- lora的权重一般在0到1之间，但有时候也会变化很大，并且带来不同的效果，可以多多尝试。
- 有时候lora要和特定的触发词一起使用。
下面是一些例子：
- add_detail
- clothing±
- emotion_happy_slider
- filmvelvia
- hair length slider
- people_count_slider
- zoom_slider
- shidudou
- moxin
- lcm_lora_weights
- xl_more_art-ful
- harrlogos
- pixel-art-xl
嵌入
嵌入文件一般以pt或bin作为后缀名，使用时需在提示中输入嵌入名。
- 嵌入文件可以作为负面提示词，也可以对生成图片做某些方面的修改。
- sd webui会根据当前选定的模型显示对应的可用嵌入，而非全部显示出来。
下面是一些例子：
- verybadimagenegative
- negfeet
- badhandv4
- negative_hand-neg
- easynegative
- baddream
- bad-picture-chill-75v
- 年龄修改之as-adult
- 性别修改之gs-girlish
文件放置
不同网络文件下载完成后，需要放在本地对应的路径下才能成功加载。
- 基座模型及衍生模型：stable-diffusion-webui\models\stable-diffusion
- vae： stable-diffusion-webui\models\vae
- lora：stable-diffusion-webui\models\lora
- 嵌入：stable-diffusion-webui\embeddings
注意为了方便管理，你可以按照功能或类别存放到不同的子文件夹中，例如我的模型就是按类别存放：
lora就是按功能存放：
界面使用
- 左侧模型选择界面：用于选择模型和vae
- 右侧额外网络界面：用于选择模型、超网络、lora和嵌入
点击show dirs可以根据自定义的子文件夹筛选模型
点击模型右上角的锤子，可以对其信息进行编辑
我一般把对模型的描述放在notes里面，因为如果放在描述里会显示在选择界面里，看着非常乱，点击replace preview可以将模型封面图替换为当前生成的图片。
炫耀一下我的模型和lora们：
- sd-webui-prompt-all-in-one插件：用于选择模型、超网络、lora和嵌入
但无法根据文件目录来做筛选，也无法编辑模型信息，应该只是调用了额外网络界面的显示接口
发表评论