ControlNet 和 T2I-适配器示例
请注意,在这些示例中,原始图像直接传递给 ControlNet/T2I 适配器。
每个 ControlNet/T2I 适配器需要传递给它的图像具有特定格式,如深度图、边缘检测图等,这取决于具体模型,如果您想获得好的结果。
ControlNetApply 节点不会为您将常规图像转换为深度图、边缘检测图等。您将需要单独做这些转换,或使用您可以在这里找到的节点来预处理您的图像。
您可以在这里找到最新的 controlnet 模型文件:原始版本 或 较小的 fp16 safetensors 版本
对于 SDXL,stability.ai 发布了 Control Loras,您可以在这里(rank256) 或 rank128)找到。它们的使用方式与常规 ControlNet 模型文件完全相同(放在同一目录中)。
ControlNet 模型文件放在 ComfyUI/models/controlnet 目录中。
涂鸦 ControlNet
这是一个如何使用 controlnets 的简单示例,此示例使用涂鸦 controlnet 和 AnythingV3 模型。您可以在 ComfyUI 中加载此图像以获得完整的工作流程。
这是我用于此工作流程的输入图像:
T2I-适配器与 ControlNets
T2I-适配器比 ControlNets 高效得多,因此我强烈推荐它们。ControlNets 会显著降低生成速度,而 T2I-适配器几乎不会对生成速度产生负面影响。
在 ControlNets 中,ControlNet 模型每次迭代都会运行一次。对于 T2I-适配器,模型总共只运行一次。
T2I-适配器的使用方式与 ControlNets 在 ComfyUI 中的使用方式相同:使用 ControlNetLoader 节点。
这是将在此示例中使用的输入图像 来源:
这是如何使用深度 T2I-适配器的示例:
这是如何使用深度 Controlnet 的示例。请注意,此示例使用 DiffControlNetLoader 节点,因为所使用的 controlnet 是一个差异 control net。差异 controlnets 需要正确加载模型的权重。加载常规 controlnet 模型时,DiffControlNetLoader 节点的行为与 ControlNetLoader 节点相同。
您可以在 ComfyUI 中加载这些图像以获得完整的工作流程。
姿势 ControlNet
这是将在此示例中使用的输入图像:
这是一个示例,使用 AnythingV3 进行第一次处理,使用 controlnet 和第二次处理不使用 controlnet,使用 AOM3A3(深渊橙色混合 3)和它们的 VAE。
您可以在 ComfyUI 中加载此图像以获得完整的工作流程。
混合 ControlNets
可以这样应用多个 ControlNets 和 T2I-适配器,获得有趣的结果:
您可以在 ComfyUI 中加载此图像以获得完整的工作流程。
输入图像: