Recientemente, el gran Jerry Davos publicó un nuevo tutorial en YouTube que explica detalladamente cómo usar Comfy UI para modificar los efectos de iluminación de un video y realizar la renderización.
Instalación y preparación
Primero, necesitas descargar el archivo de flujo de trabajo del gran Jerry Davos, el enlace está al final del artículo. Después de descargarlo, arrástralo directamente a Comfy UI; te indicará qué nodos faltan. No te preocupes, instálalos con un solo clic usando el administrador; es simple y rápido.
Si encuentras problemas durante la instalación, el gran Jerry Davos también proporciona un enlace de ayuda; haz clic para obtener la solución. A continuación, se muestra el tutorial detallado del gran Jerry Davos:
Vista general del flujo de trabajo
El flujo de trabajo está ingeniosamente dividido en varios grupos, cada uno con una función única, desde la configuración de entrada hasta el guardado de la salida, todo claro y conciso.
Configuración de entrada: incluye la configuración del bucle de entrada y la configuración del video fuente.
Grupo de diferencias animadas: se utiliza para ajustar los efectos de iluminación.
Grupo de composición: composición de IC y mapa de iluminación.
Grupo de muestreador de casos: controla el número de pasos de renderizado de la imagen.
Refinador: mejora la resolución de renderizado.
Entrada de indicaciones: describe tu imagen y las nuevas condiciones de iluminación.
Configuración de entrada
Aquí hay 5 configuraciones:
Pasos del muestreador: determina el número total de pasos que el KSampler toma para renderizar la imagen. No debe cambiarse. [Valor predeterminado 26]
Mejorador de detalles: mejora los detalles sutiles en el renderizado final. [Usa valores entre 0.1 y 1]
Semilla: controla la semilla de generación de cada KSampler.
CFG del muestreador: controla el valor CFG del KSampler.
Mejora de refinamiento: su función es similar a un valor de reparación de alta resolución. [Usar 1.1–1.6 para obtener los mejores resultados]
Entrada de indicaciones
Indicación positiva: introduce la indicación que mejor describe la imagen bajo la nueva iluminación.
Indicación negativa: configurada para proporcionar los mejores resultados. Siéntete libre de editarla.
Nodo de codificación de texto de recorte: ayuda a codificar el texto para maximizar la calidad. Mantenlo como "completo".
Modelos y Loras
Punto de control: selecciona cualquier modelo SD1.5 realista para obtener resultados precisos. Selecciona cualquier modelo SD1.5 para obtener resultados estilizados.
Loras: [Opcional] Si es necesario, puedes seleccionar cualquier Lora de la lista. No lo uses al máximo. Usar alrededor de 0.5-0.7 proporciona los mejores resultados.
Análisis de la configuración básica
Cada configuración tiene su función, por ejemplo, el número de pasos del muestreador de casos determina el nivel de detalle de la imagen renderizada, mientras que el mejorador de detalles mejora los pequeños detalles del renderizado final.
Semilla: controla la semilla de generación de cada muestreador de casos.
Refinador: similar a la reparación de alta resolución, mejora la calidad de la imagen.
Entrada de indicaciones: describe tu imagen, el sistema está configurado para obtener los mejores resultados.
Selección del modelo y el video
Selecciona tu modelo V, ya sea de estilo realista o de dibujos animados. Se recomienda que la intensidad de Loras se establezca entre el 50% y el 70% para obtener los mejores resultados.
Subida y configuración del video
Sube tu video fuente. Ten en cuenta que el tamaño del archivo no debe superar los 100 MB y la duración debe estar entre 15 y 20 segundos para evitar problemas de memoria.
Video de mapeo de iluminación
Sube tu video de mapeo de iluminación. Asegúrate de que su duración no sea inferior a la del video fuente, de lo contrario, se producirá un error.
Configuración de renderizado
Ajusta la resolución de renderizado. Ya sea un paisaje o un retrato, la resolución máxima no superará el valor establecido. Se recomienda usar un valor entre 800 y 1200 para obtener los mejores resultados.
Mapa de iluminación
Subir mapa de iluminación: haz clic y sube el video del mapa de iluminación que desees.
Se ajustará automáticamente al tamaño del video fuente.
Asegúrate de que sea igual o mayor que el video fuente, de lo contrario, habrá errores.
ControlNet de mapa de iluminación: este mapa de iluminación también se utiliza como ControlNet de iluminación con este modelo.
Usa un modelo de red de control basado en iluminación. Ten en cuenta que el valor de intensidad de CN no debe ser demasiado alto para evitar sobreexposición o transiciones de iluminación demasiado nítidas.
Diferencias animadas
Cargar modelo Animatediff: puedes usar cualquier modelo para obtener diferentes efectos.
Otros nodos Animatediff: necesitas tener algunos conocimientos sobre Animatediff para cambiar otras configuraciones. [Puedes encontrarlas aquí]
Configuración de SMZ: este es un nodo utilizado para mejorar la calidad del pipeline del modelo; todas las configuraciones están predefinidas para que funcionen correctamente.
Composición de la regulación de mapas de iluminación e IC
El nodo de ajuste superior (gris) se utiliza para controlar la regulación del ajuste de luz IC para reducir el contraste y controlar el brillo.
Generar nuevo fondo: cuando está desactivado, toma la entrada de imagen original e intenta asignar detalles similares al fondo del video fuente según la "indicación de fondo" (si existe en el cuadro de indicaciones afirmativas).
[1girl, sol, puesta de sol, camisa blanca, pantalones cortos negros, interior, habitación]
Cuando se activa Generar nuevo fondo: genera un nuevo fondo según la profundidad.
[1 chica, sol, puesta de sol, paisaje natural en el fondo, cielo]
Además, la intensidad y el porcentaje final de la red de control de profundidad se reducen al 45% para crear áreas abiertas en el fondo.
Mapa de iluminación superior: cuando es Verdadero, el mapa de iluminación estará encima del video fuente y será más dominante; cuando es Falso, el fuente estará encima, será más dominante y más brillante.
Área de influencia del sujeto: 2 modos de mezcla funcionan mejor.
Oscurece las áreas de sombra según el mapa de iluminación superior o inferior.
Aclarará las áreas de sombra según el mapa de iluminación superior o inferior.
El factor de mezcla se utiliza para la intensidad.
Ajuste general: esto controlará desde arriba el brillo, el contraste, el gamma y el tono del mapa de luz del procesamiento final.
Reasignación de imagen: utiliza este nodo para controlar el brillo y la oscuridad generales de toda la imagen.
Un valor mínimo más alto hará que la escena sea más brillante.
Un valor máximo más bajo oscurecerá la escena y puede convertir las áreas más brillantes en objetos deformados, como QrCode Monster CN.
Normalmente, se usa un valor mínimo de 0.1 o 0.2 para iluminar ligeramente la escena.
Con un valor mínimo de 0, los píxeles negros del mapa de iluminación mostrarán sombras completamente negras.
KSamplers (original y refinado)
IC Raw Ksampler: a diferencia de otros muestreadores, comienza desde el paso 8 en lugar de desde cero debido a las condiciones de luz IC (el marco comienza a eliminar el ruido desde el paso 8).
Por ejemplo, paso final 20
Paso inicial en
0 no tendrá efecto de mapa de iluminación.
5 tendrá un 50% de efecto.
10 tendrá un 100% de efecto.
Por lo tanto, alrededor de 3-8 es un buen valor de prueba.
Cuando Generar nuevo fondo es VERDADERO, puedes establecer el valor en menos de 5 para obtener mejores resultados.
Ksampler Refine: funciona de manera similar a Img2Img Refiner después del muestreo bruto de IC.
Para el paso final 25
Paso inicial en
10 y versiones inferiores funcionarán como el muestreador original y te proporcionarán objetos deformados.
15 puede funcionar como un verdadero refinador.
20 no funciona correctamente.
Más de 20 producirá resultados confusos.
Por lo tanto, 16 es bueno por defecto.
Reparación facial
Mejora para reparar la cara: si no estás satisfecho con tu cara después de repararla, puedes mejorarla a aproximadamente 1.2 a 1.6 para obtener una mejor cara.
Indicación positiva: puedes introducir indicaciones faciales aquí. El valor predeterminado es "sonriendo". Puedes cambiarlo.
Eliminación de ruido facial: usa alrededor de 0.35–0.45. En caras más altas, puede haber un renderizado incorrecto y también puede haber problemas de deslizamiento facial.
Guardado
Una vez que se hayan renderizado todos los fotogramas, se exportarán a la carpeta de salida del directorio de Comfy UI. Puedes ajustar la ubicación de salida e incluso renderizar en lote videos más largos.
Consejos avanzados
Si lo deseas, puedes usar Comfy Cloud2 para ejecutar este flujo de trabajo; tiene una página de flujo de trabajo dedicada, toda la documentación está completa, se ejecuta con un solo clic y no necesitas instalar ningún nodo o modelo.
Dirección del flujo de trabajo:
https://drive.google.com/drive/folders/16Aq1mqZKP-h8vApaN4FX5at3acidqPUv
Ejecuta este flujo de trabajo en RunComfy sin configuración:
https://www.runcomfy.com/comfyui-workflows/comfyui-ic-light-workflow-for-video-relighting
Dirección original del video: https://www.youtube.com/watch?v=q__YTKxtQAE
