Como você sabe, o modelo ControlNet SD1.5 não é compatível com o SDXL. Então, como usar o ControlNet com o SDXL? Não se preocupe, este tutorial mostrará como usar o ControlNet com o SDXL usando o Canny como exemplo.
Atualizando nosso ControlNet
Primeiro, atualize seu ControlNet. No pacote de integração Akiha, clique em Gerenciamento de Versões -> Extensões -> Atualizar tudo.
Você também pode fazer isso na WebUI -> Extensões -> Instaladas -> Verificar atualizações -> Aplicar -> Reiniciar a WebUI.
Baixando o modelo de controle SDXL
Você pode baixar o modelo ControlNet para SDXL através do seguinte link:
lllyasviel/sd_control_collection at main (huggingface.co)
Você pode colocar o modelo em:
stable-diffusion-webui\extensions\sd-webui-controlnet\models
ou
stable-diffusion-webui\models\ControlNet
Mas com tantos modelos disponíveis, como escolher?
Modelo Canny
Usaremos o modelo Canny como exemplo. Não precisamos baixar todos os modelos; já testei a qualidade e velocidade de geração destes modelos.
Teste de Velocidade
Tamanho do Modelo
Embora o `diffusers_xl_canny_full` tenha ótimos resultados, infelizmente é o maior (2,5 GB) e leva mais tempo para gerar. Se você prioriza a qualidade e tem um computador potente, considere este modelo.
O modelo `kohya_controllllite` é muito pequeno. Apesar do tamanho reduzido, seu desempenho é excelente.
Recomendações para Canny SDXL
Se você não se importa com o tamanho grande e a velocidade mais baixa, use `diffusers_xl_canny_full`.
Se você precisa de um modelo menor e mais rápido e pode aceitar pequenas mudanças de estilo, use `kohya_controllllite_xl_canny`.
Use `sai_xl_canny_128lora` para um tamanho de arquivo razoável, reduzindo as alterações de estilo.
O parâmetro de peso de controle é crucial para gerar boas imagens. A maioria dos modelos requer um valor abaixo de 1.
-------------------------------------------------------------------------------------------
Para aprender mais tutoriais de IA, visite nosso site de tutoriais:
Tutoriais de IA_Guia de Introdução ao Aprendizado Profundo - Materiais para Webmasters (chinaz.com)