メインコンテンツへスキップ

ControlNetとT2I-アダプターの例

Ryan約1分

これらの例では、元の画像が直接ControlNet/T2Iアダプターに渡されていることに注意してください。

各ControlNet/T2Iアダプターは、特定のフォーマットの画像(深度マップ、エッジ検出など)を必要とします。これは具体的なモデルによって異なり、良い結果を得たい場合は重要です。

ControlNetApplyノードは、通常の画像を深度マップやエッジ検出画像などに変換しません。これらの変換は別途行う必要があります。または、ここopen in new windowで見つけることができるノードを使用して画像を前処理することができます。

最新のcontrolnetモデルファイルは以下で見つけることができます:オリジナルバージョンopen in new window または より小さなfp16 safetensorsバージョンopen in new window

SDXLについては、stability.aiがControl Lorasをリリースしており、こちら(rank256)open in new windowまたはこちら(rank128)open in new windowで見つけることができます。これらは通常のControlNetモデルファイルと全く同じように使用できます(同じディレクトリに配置します)。

ControlNetモデルファイルはComfyUI/models/controlnetディレクトリに配置します。

落書きControlNet

これはcontrolnetsの使用方法の簡単な例です。この例では落書きcontrolnetとAnythingV3モデルを使用しています。ComfyUIopen in new windowでこの画像を読み込むと、完全なワークフローを取得できます。

例

これはこのワークフローに使用した入力画像です:

T2I-アダプターとControlNets

T2I-アダプターはControlNetsよりもはるかに効率的であるため、強くお勧めします。ControlNetsは生成速度を大幅に低下させますが、T2I-アダプターはほとんど生成速度に悪影響を与えません。

ControlNetsでは、ControlNetモデルが各イテレーションで1回実行されます。T2I-アダプターでは、モデルは合計で1回だけ実行されます。

T2I-アダプターはComfyUIでControlNetsと同じ方法で使用されます:ControlNetLoaderノードを使用します。

これはこの例で使用される入力画像です ソースopen in new window

これは深度T2I-アダプターの使用例です:

例

これは深度Controlnetの使用例です。この例ではDiffControlNetLoaderノードを使用していることに注意してください。これは使用されているcontrolnetが差分controlnetであるためです。差分controlnetsは正しくモデルの重みを読み込む必要があります。通常のcontrolnetモデルを読み込む場合、DiffControlNetLoaderノードはControlNetLoaderノードと同じように動作します。

例

ComfyUIopen in new windowでこれらの画像を読み込むと、完全なワークフローを取得できます。

ポーズControlNet

これはこの例で使用される入力画像です:

例

これは、AnythingV3を使用して最初のパスを行い、controlnetを使用して2回目のパスを行う例です。2回目のパスではcontrolnetを使用せず、AOM3A3(Abyssorangemix 3)とそのVAEを使用しています。

例

ComfyUIopen in new windowでこの画像を読み込むと、完全なワークフローを取得できます。

ControlNetsの混合

複数のControlNetsとT2I-アダプターを適用して、興味深い結果を得ることができます:

例

ComfyUIopen in new windowでこの画像を読み込むと、完全なワークフローを取得できます。

入力画像: