跳至主要內容

ControlNet 和 T2I-适配器示例

Ryan大约 2 分钟

请注意,在这些示例中,原始图像直接传递给 ControlNet/T2I 适配器。

每个 ControlNet/T2I 适配器需要传递给它的图像具有特定格式,如深度图、边缘检测图等,这取决于具体模型,如果您想获得好的结果。

ControlNetApply 节点不会为您将常规图像转换为深度图、边缘检测图等。您将需要单独做这些转换,或使用您可以在这里open in new window找到的节点来预处理您的图像。

您可以在这里找到最新的 controlnet 模型文件:原始版本open in new window较小的 fp16 safetensors 版本open in new window

对于 SDXL,stability.ai 发布了 Control Loras,您可以在这里(rank256)open in new windowrank128)open in new window找到。它们的使用方式与常规 ControlNet 模型文件完全相同(放在同一目录中)。

ControlNet 模型文件放在 ComfyUI/models/controlnet 目录中。

涂鸦 ControlNet

这是一个如何使用 controlnets 的简单示例,此示例使用涂鸦 controlnet 和 AnythingV3 模型。您可以在 ComfyUIopen in new window 中加载此图像以获得完整的工作流程。

示例
示例

这是我用于此工作流程的输入图像:

T2I-适配器与 ControlNets

T2I-适配器比 ControlNets 高效得多,因此我强烈推荐它们。ControlNets 会显著降低生成速度,而 T2I-适配器几乎不会对生成速度产生负面影响。

在 ControlNets 中,ControlNet 模型每次迭代都会运行一次。对于 T2I-适配器,模型总共只运行一次。

T2I-适配器的使用方式与 ControlNets 在 ComfyUI 中的使用方式相同:使用 ControlNetLoader 节点。

这是将在此示例中使用的输入图像 来源open in new window

这是如何使用深度 T2I-适配器的示例:

示例
示例

这是如何使用深度 Controlnet 的示例。请注意,此示例使用 DiffControlNetLoader 节点,因为所使用的 controlnet 是一个差异 control net。差异 controlnets 需要正确加载模型的权重。加载常规 controlnet 模型时,DiffControlNetLoader 节点的行为与 ControlNetLoader 节点相同。

示例
示例

您可以在 ComfyUIopen in new window 中加载这些图像以获得完整的工作流程。

姿势 ControlNet

这是将在此示例中使用的输入图像:

示例
示例

这是一个示例,使用 AnythingV3 进行第一次处理,使用 controlnet 和第二次处理不使用 controlnet,使用 AOM3A3(深渊橙色混合 3)和它们的 VAE。

示例
示例

您可以在 ComfyUIopen in new window 中加载此图像以获得完整的工作流程。

混合 ControlNets

可以这样应用多个 ControlNets 和 T2I-适配器,获得有趣的结果:

示例
示例

您可以在 ComfyUIopen in new window 中加载此图像以获得完整的工作流程。

输入图像: