【LLM第二篇】stable diffusion扩散模型、名词解释

最近在整理大模型的相关资料，发现了几个名词，不是很懂，这里整理一下：

stable diffusion（sd)模型：

扩散模型（diffusion model）的一种，主要用于生成高质量的图像，gan的替代者，扩散模型通过一些列学习步骤生成数据，逐渐从噪声中生成目标图像。

主要原理：

扩散模型主要分成两个阶段：前向过程（forward process) 和反向过程（reverse process）

1.前向过程（noise adding process）：在这个过程中，模型逐步将高质量的图像添加噪声，直到图像完全变成噪声。这是一个可控的markov链过程，也就是说图像经过一定数量的时间步骤后变成了纯噪声数据。

2.反向过程（noise removing process）：反向过程即为生成过程。在这个阶段，模型学习如何将前向过程中得到的噪声数据逆向转化为清晰的图像，通过神经网络的训练，学习从噪声中移除噪声并恢复出原始图像。

要解决的问题：

扩散模型，包括stable diffusion模型，旨在解决如何生成高质量、高分辨率、具有多样性的图像问题。与传统的gan相比，扩散模型通常能够更好的处理图像的细节，并在训练时更加稳定。

扩散模型不需要使用对抗性训练，而是依赖变分下降路径（variational lower bound），使得模型在训练过程中更加稳定，扩散模型的优势是可以避免gan的一些模式崩溃（mode collapse）、训练不稳定的问题。

总的来说，扩散模型通过模仿如何将数据转化成噪声和如何从噪声中恢复数据的过程，以一种稳定而有效的方式生成质量高的图像。在艺术创作、游戏开发、数据增强等多个领域有潜在的应用价值。

stable diffusion出现之前的扩散模型虽然已经有非常强的生成能力与泛化性能，但缺点是不管是前向扩散过程还是反向扩散过程，都需要在像素级的图像上进行，当图像分辨率和timesteps很大时，不管是训练还是前向推理，都非常的耗时。

而基于latent的扩散模型可以将这些过程压缩在低维的latent隐空间，这样一来大大降低了显存占用和计算复杂度，这是常规扩散模型和基于latent的扩散模型之间的主要区别，也是sd模型火爆出圈的关键一招。

举个形象的例子理解一下，如果sd模型将输入数据压缩的倍数设为8，那么原本尺寸为[3,512,512]的数据就会进入[3,64,64]的latent隐空间中，显存和计算量直接缩小64倍，整体效率大大提升。也正是因为这样，sd模型能够在2080ti级别的显卡上进行前向推理，生成各种各样精美的图像，大大推动了sd模型的普惠与ai绘画生态的繁荣。

stable diffusion整体的训练逻辑也非常清晰：

1. 从数据集中随机选择一个训练样本
2. 从k个噪声量级随机抽样一个timestep 
3. 将timestep 对应的高斯噪声添加到图片中
4. 将加噪图片输入u-net中预测噪声
5. 计算真实噪声和预测噪声的l2损失
6. 计算梯度并更新sd模型参数

【1】sd训练集加入噪声

sd模型训练时，我们需要把加噪的数据集输入模型中，每一次迭代我们用random函数生成从强到弱各个强度的噪声，通常来说会生成0-1000一共1001种不同的噪声强度，通过time embedding嵌入到sd的训练过程中。

time embedding由timesteps（时间步长）编码而来，引入timesteps能够模拟一个随时间逐渐向图像加入噪声扰动的过程。每个timestep代表一个噪声强度（较小的timestep代表较弱的噪声扰动，而较大的timestep代表较强的噪声扰动），通过多次增加噪声来逐渐改变干净图像的特征分布。

【2】sd训练中加噪与去噪

具体地，在训练过程中，我们首先看一下前向扩散过程，主要是对干净样本进行加噪处理，采用多次逐步增加噪声的方式，直至干净样本转变成为纯噪声。

接着，在前向扩散过程进行的每一步中，sd同样进行反向扩散过程。sd模型在每一步都会预测当前步加入的噪声，不断学习提升去噪能力。

其中，将去噪过程具像化，就得到使用u-net预测噪声，并结合schedule算法逐步去噪的过程

以看到，加噪和去噪过程都是逐步进行的，我们假设进行�步，那么每一步，sd都要去预测噪声，从而形成“小步快跑的稳定去噪”，类似于移动互联网时代的产品逻辑，这是足够伟大的关键一招。

与此同时，在加噪过程中，每次增加的噪声量级可以不同，假设有5种噪声量级，那么每次都可以取一种量级的噪声，增加噪声的多样性，如下图所示：

多量级噪声

那么怎么让网络知道目前处于的哪一步呢？本来sd模型其实需要k个噪声预测模型，这时我们可以增加一个time embedding（类似positional embeddings）进行处理，通过将timestep编码进网络中，从而只需要训练一个共享的u-net模型，就让网络知道现在处于哪一步。

我们希望sd中的u-net模型在刚开始的反向扩散过程中可以先生成一些物体的大体轮廓，随着反向扩散过程的深入，在即将完成完整图像的生成时，再生成一些高频的特征信息。

我们了解了训练中的加噪和去噪过程，sd训练的具体过程就是对每个加噪和去噪过程进行梯度计算，从而优化sd模型参数，如下图所示分为四个步骤：

1. 从训练集中选取一张加噪过的图片和噪声强度（timestep），然后将其输入到u-net中。
2. 让u-net预测噪声（下图中的u-net prediction）。
3. 接着再计算预测噪声与真实噪声的误差（loss）。
4. 最后通过反向传播更新u-net的权重参数。

【3】文本信息对图片生成的控制

sd模型在生成图片时，需要输入prompt提示词，那么这些文本信息是如何影响图片的生成呢？

答案非常简单：通过注意力机制。

在sd模型的训练中，每个训练样本都会对应一个文本描述的标签，我们将对应标签通过clip text encoder输出text embeddings，并将text embeddings以cross attention的形式与u-net结构耦合并注入，使得每次输入的图片信息与文本信息进行融合训练，如下图所示：

noise与text embeddings通过crossattention与u-net结构耦合

【4】sd模型训练时的输入

有了上面的介绍，我们在这里可以小结一下sd模型训练时的输入，一共有三个部分组成：图片、文本以及噪声强度。其中图片和文本是固定的，而噪声强度在每一次训练参数更新时都会随机选择一个进行叠加。

u-net模型

【1】stable diffusion中u-net的核心作用

在stable diffusion中，u-net模型是一个关键核心部分，能够预测噪声残差，并结合sampling method（调度算法：pndm，ddim，k-lms等）对输入的特征矩阵进行重构，逐步将其从随机高斯噪声转化成图片的latent feature。

具体来说，在前向推理过程中，sd模型通过反复调用 u-net，将预测出的噪声残差从原噪声矩阵中去除，得到逐步去噪后的图像latent feature，再通过vae的decoder结构将latent feature重建成像素级图像

【2】stable diffusion中u-net模型的完整结构图

stable diffusion中的u-net，在传统深度学习时代的encoder-decoder结构的基础上，增加了resnetblock（包含time embedding）模块，spatial transformer（selfattention + crossattention + feedforward）模块以及crossattndownblock，crossattnupblock和crossattnmidblock模块。

那么各个模块都有什么作用呢？不着急，咱们先看看sd u-net的整体架构（aigc算法工程师面试核心考点）。

下图是stable diffusion u-net的完整结构图，大家可以感受一下其魅力，看着这个完整结构图学习stable diffusion u-net部分，相信大家脑海中的思路也会更加清晰：

上图中包含stable diffusion u-net的十四个基本模块：

1. gsc模块：stable diffusion u-net中的最小组件之一，由groupnorm+silu+conv三者组成。
2. downsample模块：stable diffusion u-net中的下采样组件，使用了conv（kernel_size=(3, 3), stride=(2, 2), padding=(1, 1)）进行采下采样。
3. upsample模块：stable diffusion u-net中的上采样组件，由插值算法（nearest）+conv组成。
4. resnetblock模块：借鉴resnet模型的“残差结构”，让网络能够构建的更深的同时，将time embedding信息嵌入模型。
5. crossattention模块：将文本的语义信息与图像的语义信息进行attention机制，增强输入文本prompt对生成图片的控制。
6. selfattention模块：selfattention模块的整体结构与crossattention模块相同，这是输入全部都是图像信息，不再输入文本信息。
7. feedforward模块：attention机制中的经典模块，由geglu+dropout+linear组成。
8. basictransformer block模块：由layernorm+selfattention+crossattention+feedforward组成，是多重attention机制的级联，并且也借鉴resnet模型的“残差结构”。通过加深网络和多attention机制，大幅增强模型的学习能力与图文的匹配能力。
9. spatial transformer模块：由groupnorm+conv+basictransformer block+conv构成，resnet模型的“残差结构”依旧没有缺席。
10. downblock模块：由两个resnetblock模块组成。
11. upblock_x模块：由x个resnetblock模块和一个upsample模块组成。
12. crossattndownblock_x模块：是stable diffusion u-net中encoder部分的主要模块，由x个（resnetblock模块+spatial transformer模块）+downsample模块组成。
13. crossattnupblock_x模块：是stable diffusion u-net中decoder部分的主要模块，由x个（resnetblock模块+spatial transformer模块）+upsample模块组成。
14. crossattnmidblock模块：是stable diffusion u-net中encoder和ecoder连接的部分，由resnetblock+spatial transformer+resnetblock组成。

为大家全面分析sd模型中u-net结构的核心知识

（1）resnetblock模块

在传统深度学习时代，resnet的残差结构在图像分类，图像分割，目标检测等主流方向中几乎是不可或缺，其简洁稳定有效的“残差思想”终于在aigc时代跨过周期，在sd模型的u-net结构中继续繁荣。

值得注意的是，time embedding正是输入到resnetblock模块中，为u-net引入了时间信息（时间步长t，t的大小代表了噪声扰动的强度），模拟一个随时间变化不断增加不同强度噪声扰动的过程，让sd模型能够更好地理解时间相关性。

同时，在sd模型调用u-net重复迭代去噪的过程中，我们希望在迭代的早期，能够先生成整幅图片的轮廓与边缘特征，随着迭代的深入，再补充生成图片的高频和细节特征信息。由于在每个resnetblock模块中都有time embedding，就能告诉u-net现在是整个迭代过程的哪一步，并及时控制u-net够根据不同的输入特征和迭代阶段而预测不同的噪声残差。

在上面的stable diffusion u-net完整结构图中展示了完整的resnetblock模块，其输入包括latent feature和 time embedding。首先latent feature经过gsc（groupnorm+silu激活函数+卷积）模块后和time embedding（经过silu激活函数+全连接层处理）做加和操作，之后再经过gsc模块和skip connection而来的输入latent feature做加和操作，进行两次特征融合后最终得到resnetblock模块的latent feature输出，增强sd模型的特征学习能力。

同时，和传统深度学习时代的u-net结构一样，decoder结构中的resnetblock模块不单单要接受来自上一层的latent feature，还要与encoder结构中对应层的resnetblock模块的输出latent feature进行concat操作。举个例子，如果decoder结构中resnetblock structure上一层的输出结果的尺寸为 [512, 512, 1024]，encoder结构对应 resnetblock structure的输出结果的尺寸为 [512, 512, 2048]，那么这个decoder结构中resneblock structure得到的latent feature的尺寸为 [512, 512, 3072]。

（2）crossattention模块

crossattention模块是我们使用输入文本prompt控制sd模型图片内容生成的关键一招。

上面的stable diffusion u-net完整结构图中展示了spatial transformer(cross attention)模块的结构。spatial transformer模块和resnetblock模块一样接受两个输入：一个是resnetblock模块的输出，另外一个是输入文本prompt经过clip text encoder模型编码后的context embedding。

两个输入首先经过attention机制（将context embedding对应的语义信息与图片中对应的语义信息相耦合），输出新的latent feature，再将新输出的latent feature与输入的context embedding再做一次attention机制，从而使得sd模型学习到了文本与图片之间的特征对应关系。

spatial transformer模块不改变输入输出的尺寸，只在图片对应的位置上融合了语义信息，所以不管是在传统深度学习时代，还是aigc时代，spatial transformer都是将本文与图像结合的一个“万金油”模块。

看crossattention模块的结构图，大家可能会疑惑为什么context embedding用来生成k和v，latent feature用来生成q呢？

原因也非常简单：因为在stable diffusion中，主要的目的是想把文本信息注入到图像信息中里，所以用图片token对文本信息做 attention实现逐步的文本特征提取和耦合。

3）basictransformer block模块

basictransformer block模块是在crossattention子模块的基础上，增加了selfattention子模块和feedforward子模块共同组成的，并且每个子模块都是一个残差结构，这样除了能让文本的语义信息与图像的语义信息更好的融合之外，还能通过selfattention机制让模型更好的学习图像数据的特征。

写到这里，可能还有读者会问，stable diffusion u-net中的selfattention到底起了什么作用呀?

首先，在stable diffusion u-net的selfattention模块中，输入只有图像信息，所以selfattention主要是为了让sd模型更好的学习图像数据的整体特征。

再者，selfattention可以将输入图像的不同部分（像素或图像patch）进行交互，从而实现特征的整合和全局上下文的引入，能够让模型建立捕捉图像全局关系的能力，有助于模型理解不同位置的像素之间的依赖关系，以更好地理解图像的语义。

在此基础上，selfattention还能减少平移不变性问题，selfattention模块可以在不考虑位置的情况下捕捉特征之间的关系，因此具有一定的平移不变性。

（4）spatial transformer模块

更进一步的，在basictransformer block模块基础上，加入groupnorm和两个卷积层就组成spatial transformer模块。spatial transformer模块是sd u-net中的核心base结构，encoder中的crossattndownblock模块，decoder中的crossattnupblock模块以及crossattnmidblock模块都包含了大量的spatial transformer子模块。

在生成式模型中，groupnorm的效果一般会比batchnorm更好，生成式模型通常比较复杂，因此需要更稳定和适应性强的归一化方法。

而groupnorm主要有以下一些优势，让其能够成为生成式模型的标配：

1. 对训练中不同batch-size的适应性：在生成式模型中，通常需要使用不同的batch-size进行训练和微调。这会导致 batchnorm在训练期间的不稳定性，而groupnorm不受batch-size的影响，因此更适合生成式模型。

2. 能适应通道数变化：groupnorm 是一种基于通道分组的归一化方法，更适应通道数的变化，而不需要大量调整。

3. 更稳定的训练：生成式模型的训练通常更具挑战性，存在训练不稳定性的问题。groupnorm可以减轻训练过程中的梯度问题，有助于更稳定的收敛。

4. 能适应不同数据分布：生成式模型通常需要处理多模态数据分布，groupnorm 能够更好地适应不同的数据分布，因为它不像 batch normalization那样依赖于整个批量的统计信息。

（5）crossattndownblock/crossattnupblock/crossattnmidblock模块

在stable diffusion u-net的encoder部分中，使用了三个crossattndownblock模块，其由resnetblock structure+basictransformer block+downsample构成。downsample通过使用一个卷积（kernel_size=(3, 3), stride=(2, 2), padding=(1, 1)）来实现。

在decoder部分中，使用了三个crossattnupblock模块，其由resnetblock structure+basictransformer block+upsample构成。upsample使用插值算法+卷积来实现，插值算法将输入的latent feature尺寸扩大一倍，同时通过一个卷积（kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)）改变latent feature的通道数，以便于输入后续的模块中。

在crossattnmidblock模块中，包含resnetblock structure+basictransformer block+resnetblock structure，作为u-net的encoder与decoder之间的媒介。

（6）stable diffusion u-net整体宏观角度小结

从整体上看，不管是在训练过程还是前向推理过程，stable diffusion中的u-net在每次循环迭代中content embedding部分始终保持不变，而time embedding每次都会发生变化。

和传统深度学习时代的u-net一样，stable diffusion中的u-net也是不限制输入图片的尺寸，因为这是个基于transformer和卷积的模型结构。

【3】stable diffusion中u-net的训练过程与损失函数

在我们进行stable diffusion模型训练时，vae部分和clip部分都是冻结的，所以说官方在训练sd系列模型的时候，训练过程一般主要训练u-net部分。

我们之前我们已经讲过在stable diffusion中u-net主要是进行噪声残差，在sd系列模型训练时和ddpm一样采用预测噪声残差的方法来训练u-net，其损失函数如下所示：

到这里，stable diffusion u-net的完整核心基础知识就介绍好了，欢迎大家在评论区发表自己的观点，也希望大家能多多点赞，rocky会持续完善本文的全部内容，大家敬请期待！

【4】sd模型融合详解（merge block weighted，mbw）

不管是传统深度学习时代，还是aigc时代，模型融合永远都是学术界、工业界以及竞赛界的一个重要trick。

在ai绘画领域，很多ai绘画开源社区里都有sd融合模型的身影，这些融合模型往往集成了多个sd模型的优点，同时规避了不足，让这些sd融合模型在开源社区中很受欢迎。

接下来rocky将带着大家详细了解sd模型的模型融合过程与方法，大家可能会好奇为什么sd模型融合会在介绍sd u-net的章节中讲到，原因是sd的模型融合方法主要作用于u-net部分。

首先，我们需要知道sd模型融合的形式，一共三种有如下所示：

• sd模型 + sd模型 -> 新sd模型
• sd模型 + lora模型 -> 新sd模型
• lora模型 + lora模型 -> 新lora模型

参考：

1.深入浅出完整解析stable diffusion（sd）核心基础知识 - 知乎