StableDiffusion深度应用，覆盖文生图-图生图精准控图，从文生图到视频全流程，AiGC系列教程

StableDiffusion深度应用，覆盖文生图-图生图精准控图，从文生图到视频全流程，AiGC系列教程

文生图精准控图

• 使用 ControlNet 插件
  • OpenPose 模型：若想精准控制人物动作，可利用 OpenPose。比如要生成一个舞蹈场景，先通过人体姿势识别工具获取舞者的姿势骨骼图，将其作为 ControlNet 的输入，再在 StableDiffusion 的提示词中描述舞蹈场景的细节，如舞台布置、灯光效果、舞者服饰等，就可生成指定姿势的舞蹈画面。多人舞蹈场景也可通过此方法实现，还能利用手部骨骼模型解决手部绘图不精准的问题。
  • Canny 模型：对于有特定构图需求的画面，如要绘制一个具有复古风格的城堡，可先找到一张城堡的线稿图，用 Canny 模型提取线稿的边缘信息，然后在提示词中说明复古风格、画面色调等要求，StableDiffusion 就能基于线稿生成复古风格的城堡图，且能很好地保留原线稿的构图。
  • 其他模型：HED 模型可用于提取更精细的边缘信息，适合处理复杂的自然场景图；Scribble 模型适合根据简单的涂鸦生成创意图像，如根据简单的人物涂鸦生成具有不同风格的人物插画；Seg 模型适用于大场景的画风更改，比如将一张现实风景图变成梦幻风格的场景。
• 利用预训练模型和 LoRA
  • 选择合适的预训练模型：根据想要生成的图像风格，挑选相应的 Checkpoint 预训练大模型。若要生成科幻风格的图像，就选择具有科幻风格特点的预训练模型，然后在提示词中详细描述科幻场景、角色等内容，能更精准地生成符合要求的科幻图。
  • 结合 LoRA 微调：如果已有基础风格的模型，但还想对某些特定元素或风格进行微调，可使用 LoRA。比如在生成古风人物图像时，已有一个通用的古风模型，但希望人物的服饰风格更独特，就可以训练一个关于特定服饰风格的 LoRA，与基础模型结合使用，通过调整提示词和 LoRA 的权重，精准控制生成具有独特服饰风格的古风人物。

图生图精准控图

• 局部重绘
  • 手动涂鸦重绘：例如有一张人物照片，想把人物的发型改变。在 StableDiffusion 的图生图模块中，使用手动涂鸦工具，在人物头发部分进行涂抹，大致勾勒出想要的发型形状，然后设置合适的重绘幅度和提示词，如 “时尚的卷发发型”，就能对人物头发部分进行重绘，实现发型的改变。
  • 上传重绘蒙版：若需要更精准地控制重绘区域，可在 PS 等软件中对要重绘的部分进行抠图，将其填充为白色，其余部分为黑色，生成蒙版图片。上传到 StableDiffusion 中，结合提示词和参数设置，就可只对蒙版中的白色区域进行重绘。比如要将一张风景图中的天空颜色改变，就可以制作一个只包含天空部分的蒙版，然后进行重绘操作。
• 图像扩展
  • 拓展画面内容：当需要为一张图片添加更多背景或周边内容时，使用图像扩展功能。比如有一张中心是人物的图片，想在周围添加一些建筑和树木来丰富画面。在图生图模块中，选择图像扩展功能，设置扩展的方向和尺寸，在提示词中描述要添加的建筑风格、树木种类等内容，StableDiffusion 会根据原图的风格和提示词，在扩展区域生成相应的内容。
  • 改变画面比例：如果想将一张竖版的人物图片改为横版，以适应不同的展示需求。通过图像扩展功能，在调整画面比例的同时，利用提示词让模型在新扩展的区域生成合适的背景或装饰元素，使图片在改变比例后依然保持整体的协调性和美观性