SD1.5のControlNetモデルはSDXLでは使用できないことは周知の事実です。では、SDXLでControlNetを使用するにはどうすれば良いのでしょうか？ご心配なく、このチュートリアルではCannyを例に、ControlNetとSDXLを連携させる方法を説明します。
ControlNetの更新
まず、ControlNetを更新しましょう。秋葉統合パックで「バージョン管理」→「拡張機能」→「ワンクリック更新」をクリックするだけです。
WebUIで「拡張機能」→「インストール済み」→「更新を確認」→「適用」→WebUIを再起動しても更新できます。
SDXL制御モデルのダウンロード
以下のリンクから、SDXL対応のControlNetモデルをダウンロードできます。
lllyasviel/sd_control_collection at main (huggingface.co)
モデルは次のフォルダに配置できます。
stable-diffusion-webui\extensions\sd-webui-controlnet\models
または
stable-diffusion-webui\models\ControlNet
しかし、多くのモデルがあるので、どれを選べば良いのでしょうか？
Cannyモデル
ここではCannyモデルを例に説明します。すべてをダウンロードする必要はありません。私はこれらのモデルの生成効果と速度を既にテスト済みです。
速度テスト
モデルサイズ
diffusers_xl_canny_fullは効果が高いですが、残念ながらサイズが最も大きいです。(2.5ギガバイト) 生成時間も長くなります。品質を重視し、時間がかかっても構わず、パソコンの性能が良い場合は、このモデルを検討できます。
kohya_controllllite制御モデルは非常に小さいです。サイズが小さい割には、非常に良いパフォーマンスを発揮します。
Canny SDXLに関する推奨事項
サイズが大きく、速度が遅いことを許容できる場合は、diffusers_xl_canny_fullを使用してください。
より小さく、高速なモデルが必要で、スタイルのわずかな変化を受け入れられる場合は、kohya_controllllite_xl_cannyを使用してください。
妥当なファイルサイズで、スタイルの変更を少なくするには、sai_xl_canny_128loraを使用してください。
良好な画像を生成するには、制御ウェイトパラメータが重要です。ほとんどのモデルでは、1より小さい値が必要です。
-------------------------------------------------------------------------------------------
さらに詳しいAIチュートリアルを学びたい方は、当社のチュートリアルウェブサイトをご覧ください。
