我要评论今天要分享的论文是openai于2022年4月出品的dalle2，全名hierarchical text-conditional image generation with clip latents。该工作是在clip和glide基础之上完成。
很早之前写过一篇clip论文精读，上篇博客讲了ae、vae、vq-vae、ddpm、ldm知识。其中在生成环节，还有classifier guidance和classifier-free guidance扩散模型的说法。guidance是条件扩散模型在推理采样的时候，引入一种干预指导，使得生成结果能够更加符合人类意图。glide论文提供的classifier-free guidance方法克服了ddpm等扩散模型classifier guidance的缺点。classifier-free guidance改变了模型输入的内容，除了条件输入外（随机高斯噪声、指导信息）还有无条件采样输入。扩散模型得到有条件和无条件输入后，用前者监督后者，指导训练。最后反向扩散做生成时，使用无条件生成，也能达到类似有条件生成效果。classifier-free guidance最直接的做法是在采样过程中，对提供的条件输入做随机dropout。
由于文章提及很多工程技巧，在第二章末尾，把dalle2训练过程、推理过程重新梳理了一遍。
abstract
像clip这样的对比模型已被证明可以学习捕捉图像语义和风格的鲁棒表示。为了利用这些表示进行图像生成，我们提出了一个两阶段模型：一个先验，它在给定文本描述情况下生成clip图像嵌入；一个解码器，它以图像嵌入为条件生成图像。我们表明，显式生成图像表示提高了图像多样性，并在照片真实感和说明相似性方面损失最小。以图像表示为条件的解
发表评论