Hace poco, los investigadores han propuesto un marco innovador llamado Voost, con el objetivo de mejorar el rendimiento de las tecnologías de prueba de ropa virtual. La prueba de ropa virtual se refiere a la generación de una imagen real de una persona vistiendo una prenda objetivo, pero modelar con precisión la correspondencia entre la ropa y el cuerpo ha sido un gran desafío debido a los cambios en la postura y la apariencia. La introducción de Voost ofrece una nueva solución a este problema.
Voost es un modelo unificado y escalable que aprende simultáneamente las tareas de prueba de ropa virtual y de quitar ropa mediante un único transformador de difusión (DiT). A diferencia de los métodos tradicionales, Voost permite una supervisión bidireccional para cada par de ropa y persona, mejorando así el razonamiento de la relación entre la ropa y el cuerpo, sin depender de redes específicas para la tarea, pérdidas auxiliares o etiquetas adicionales. Esta característica hace que Voost destaque en la flexibilidad de la tarea y la diversidad de la generación.
Además, el equipo de investigación introdujo dos técnicas para mejorar la robustez del modelo durante la inferencia. Una es la técnica de escala de temperatura de atención, que mantiene la estabilidad del modelo incluso cuando cambian la resolución o la máscara; la otra es la muestra de autocorrección, que optimiza aún más los resultados de generación utilizando la consistencia bidireccional entre las tareas. Estas tecnologías innovadoras permiten que Voost se adapte a diferentes condiciones de entrada durante la inferencia.
En numerosos experimentos, Voost demostró un excelente rendimiento, alcanzando el nivel más avanzado en pruebas de referencia de prueba de ropa virtual. Los resultados de la investigación muestran que Voost supera significativamente a muchos modelos base fuertes en varios aspectos, como la precisión de alineación, la realismo visual y la capacidad de generalización. Este logro no solo proporciona una nueva dirección para el desarrollo de la tecnología de prueba de ropa virtual, sino que también establece una base para futuras investigaciones en campos relacionados.
El éxito de Voost demuestra el potencial de las tecnologías de aprendizaje profundo en la experiencia de prueba de ropa, anunciando posiblemente un nuevo cambio en el sector de la moda digital y la compra en línea.
Proyecto: https://nxnai.github.io/Voost/
Resumen:
🌟 Voost es un nuevo marco que permite aprender simultáneamente la prueba de ropa virtual y la eliminación de ropa mediante un único transformador de difusión.
🔍 Voost destaca en la flexibilidad de la tarea y la diversidad de la generación, sin necesidad de redes específicas ni etiquetas adicionales.
🚀 Los resultados experimentales muestran que Voost supera a varios modelos base fuertes en términos de precisión y calidad visual.
