Bekanntlich ist das ControlNet-Modell von SD1.5 nicht mit SDXL kompatibel. Wie können wir ControlNet also mit SDXL verwenden? Keine Sorge, dieses Tutorial zeigt Ihnen anhand von Canny, wie Sie ControlNet und SDXL kombinieren.
ControlNet aktualisieren
Zuerst aktualisieren wir ControlNet. Klicken Sie im Qiuye-Integrationspaket auf Versionsverwaltung –> Erweiterungen –> Ein-Klick-Update.
Alternativ können Sie in der WebUI auf Erweiterungen –> Installiert –> Nach Updates suchen –> Anwenden –> WebUI neu starten klicken.
SDXL-Steuermodell herunterladen
Sie können das ControlNet-Modell für SDXL über den folgenden Link herunterladen:
lllyasviel/sd_control_collection at main (huggingface.co)
Sie können das Modell in folgenden Ordner platzieren:
stable-diffusion-webui\extensions\sd-webui-controlnet\models
oder
stable-diffusion-webui\models\ControlNet
Aber wie wählen wir bei so vielen Modellen das richtige aus?
Canny-Modell
Hier nehmen wir das Canny-Modell als Beispiel. Wir müssen nicht alle herunterladen. Ich habe die Generierungsqualität und -geschwindigkeit dieser Modelle bereits getestet.
Geschwindigkeitstest
Modellgröße
Obwohl `diffusers_xl_canny_full` sehr gute Ergebnisse liefert, ist es leider das größte (2,5 Gigabyte) und die Generierung dauert länger. Wenn Ihnen nur die Qualität wichtig ist und Sie eine leistungsstarke Hardware haben, können Sie dieses Modell in Betracht ziehen.
Das `kohya_controllllite`-Steuermodell ist sehr klein. In Anbetracht ihrer geringen Größe liefern sie sehr gute Ergebnisse.
Empfehlungen für Canny SDXL
Verwenden Sie `diffusers_xl_canny_full`, wenn Sie mit der großen Größe und der geringeren Geschwindigkeit zufrieden sind.
Verwenden Sie `kohya_controllllite_xl_canny`, wenn Sie ein kleineres, schnelleres Modell benötigen und geringfügige Änderungen des Stils akzeptieren.
Verwenden Sie `sai_xl_canny_128lora` für eine angemessene Dateigröße bei gleichzeitiger Reduzierung von Stiländerungen.
Der Control Weight-Parameter ist entscheidend für die Erzeugung guter Bilder. Die meisten Modelle benötigen einen Wert unter 1.
-------------------------------------------------------------------------------------------
Weitere KI-Tutorials finden Sie auf unserer Tutorial-Website:
AI-Tutorials_Einführung in Deep Learning - Webmaster-Materialien (chinaz.com)
