文生图:由提示词生成图像

定义

文生图根据文字描述生成图像。该文字描述也称为提示词。最常见的文生图模型是 Stable Diffusion v1.5、Stable Diffusion XL(SDXL)和 Kandinsky 2.2。

ControlNet 模型或适配器可以与文生图模型配合使用,以便在生成图像时获得更直接的控制。各模型的结果因架构和训练过程而略有不同,但无论选择哪个模型,用法或多或少都相同。

一图看懂

扩散模型接收提示词和一些随机初始噪声,并迭代地去除噪声以构建图像。去噪过程由提示词引导,在预定数量的时间步之后结束,随后图像表示被解码为图像。

将检查点加载到自动管线类中,该类会根据检查点自动检测合适的管线类。
把提示词传给管线以生成图像。
高度和宽度参数控制所生成图像的高度和宽度(以像素计)。
引导系数参数影响提示词对图像生成的影响程度。
负面提示词引导模型远离你不希望模型生成的内容。
生成器对象通过设置手动种子,使管线具备可复现性。
扩散模型很大,迭代去噪在计算上代价高且负担重,但这并不意味着使用它们需要强大或众多的 GPU。

原文没有明确这些要点的先后顺序，因此按要点列出，不画先后箭头。

工作原理

管线中可以配置若干参数,这些参数会影响图像的生成方式。较低的引导系数值让模型有“创造力”,生成与提示词关联更松散的图像,而较高的值促使模型更紧密地遵循提示词,但值过高时生成的图像中可能出现一些伪影。正如提示词引导生成,负面提示词引导模型远离你不希望模型生成的内容。

负面提示词常用于去除“低分辨率”或“细节差”等较差的图像特征,从而提升整体图像质量。负面提示词也可用于去除或修改图像的内容和风格。使用生成器创建图像时,每次应返回相同的结果,而不是随机生成新图像。

提示词加权是一种增大或减小提示词中概念重要性的技术,用以强调或弱化图像中的某些特征。ControlNet 模型是在文生图模型(如 Stable Diffusion v1.5)之上微调的辅助模型或适配器。使用 ControlNet 时,你要向模型添加一张额外的条件输入图像。

例如,如果提供人体姿态图像(通常由连接成骨架的多个关键点表示)作为条件输入,模型会生成遵循该姿态的图像;Multi-ControlNet 还可以组合多个条件输入。

例子

Stable Diffusion v1.5 是由 Stable Diffusion v1-4 初始化的潜在扩散模型,并在 LAION-Aesthetics V2 数据集的 512x512 图像上微调了 595K 步。SDXL 是此前 Stable Diffusion 模型的大得多的版本,包含可为图像增添更多细节的两阶段模型流程。Kandinsky 模型与 Stable Diffusion 模型略有不同,因为它还使用图像先验模型来创建嵌入,以更好地对齐扩散模型中的文本和图像。

默认情况下,Stable Diffusion v1.5 模型输出 512x512 图像,但可以改为 8 的倍数的任意尺寸。SDXL 的默认图像尺寸是 1024x1024,使用更小的高度和宽度值可能导致图像质量更低。其他模型的默认图像尺寸可能不同,取决于训练数据集中的图像尺寸。

每个 ControlNet 模型都在特定类型的条件图像上预训练,以生成与之相似的新图像。例如,对于在深度图上预训练的 ControlNet 模型,给它一张深度图作为条件输入,它就会生成保留其中空间信息的图像。

本站已收录的相关工具。