Récemment, les chercheurs ont proposé un cadre innovant appelé Voost, visant à améliorer les performances des technologies de essayage virtuel et de déshabillage. L'essayage virtuel consiste à générer une image réaliste d'une personne portant une tenue ciblée, mais modéliser précisément la relation entre la tenue et le corps reste un défi en raison des variations de posture et d'apparence. L'introduction de Voost offre une nouvelle solution à ce problème.
Voost est un modèle uni et évolutif qui apprend simultanément les tâches d'essayage virtuel et de déshabillage à l'aide d'un seul transformateur de diffusion (DiT). Contrairement aux méthodes traditionnelles, Voost permet une supervision bidirectionnelle pour chaque paire de tenue et de personne, renforçant ainsi la raisonnement sur la relation entre la tenue et le corps, sans dépendre de réseaux spécifiques à la tâche, de pertes auxiliaires ou d'étiquettes supplémentaires. Cette caractéristique fait que Voost se distingue par sa flexibilité de tâche et sa diversité de génération.
En outre, l'équipe de recherche a introduit deux techniques pour améliorer la robustesse du modèle pendant le raisonnement. La première est la technique de mise à l'échelle de la température d'attention, qui maintient la stabilité du modèle même en cas de changement de résolution ou de masque ; la seconde est l'échantillonnage de correction auto, qui optimise davantage les résultats générés en exploitant la cohérence bidirectionnelle entre les tâches. Ces technologies innovantes permettent à Voost de s'adapter à différents types d'entrées pendant le raisonnement.
Dans de nombreuses expériences, Voost a montré d'excellents résultats, atteignant le niveau le plus récent des tests de référence pour l'essayage virtuel et le déshabillage. Les résultats de l'étude montrent que Voost dépasse significativement de nombreux modèles de base puissants dans plusieurs aspects tels que la précision de l'alignement, la réalisme visuel et la capacité de généralisation. Cette réussite apporte non seulement de nouvelles directions au développement des technologies d'essayage virtuel et de déshabillage, mais établit également une base pour des recherches futures dans ce domaine.
La réussite de Voost démontre le potentiel des techniques d'apprentissage profond dans l'expérience d'essayage de vêtements, annonçant probablement un nouveau changement dans les domaines de la mode numérique et du commerce en ligne.
Projet : https://nxnai.github.io/Voost/
Points clés :
🌟 Voost est un nouveau cadre qui permet l'apprentissage conjoint de l'essayage virtuel et du déshabillage à l'aide d'un seul transformateur de diffusion.
🔍 Voost se distingue par sa flexibilité de tâche et sa diversité de génération, sans nécessiter de réseau spécifique ou d'étiquettes supplémentaires.
🚀 Les résultats des expériences montrent que Voost dépasse plusieurs modèles de base puissants en termes de précision et de qualité visuelle.
