Recentemente, os pesquisadores propuseram um novo framework chamado Voost, visando melhorar o desempenho das tecnologias de provador virtual e remoção de roupas. O provador virtual refere-se à síntese de uma imagem real de uma pessoa vestindo uma roupa alvo, mas modelar com precisão a relação entre as roupas e o corpo, devido às mudanças na postura e aparência, tem sido um grande desafio. A introdução do Voost oferece uma nova solução para esse problema.
O Voost é um modelo unificado e escalável que aprende simultaneamente as tarefas de provador virtual e remoção de roupas por meio de um único transformador de difusão (DiT). Diferentemente dos métodos tradicionais, o Voost permite uma supervisão bidirecional para cada par de roupas e pessoas, fortalecendo assim a inferência da relação entre roupas e corpos, sem depender de redes específicas para tarefas, perdas auxiliares ou rótulos adicionais. Essa característica faz com que o Voost se destaque em flexibilidade de tarefas e diversidade de geração.
Além disso, a equipe de pesquisa também introduziu duas técnicas para melhorar a robustez do modelo durante a inferência. Uma delas é a técnica de escala de temperatura de atenção, que mantém a estabilidade do modelo mesmo em condições de variação de resolução ou máscara; a outra é a amostragem de autocorreção, que otimiza ainda mais os resultados gerados, aproveitando a consistência bidirecional entre as tarefas. Essas tecnologias inovadoras permitem que o Voost se adapte a diferentes condições de entrada durante a inferência.
Em muitos experimentos, o Voost se saiu bem, atingindo o nível mais recente nos testes de benchmark de provador virtual e remoção de roupas. Os resultados da pesquisa mostraram que o Voost supera significativamente vários modelos fortes em aspectos como precisão de alinhamento, realismo visual e capacidade de generalização. Esses resultados não apenas fornecem uma nova direção para o desenvolvimento das tecnologias de provador virtual e remoção de roupas, mas também estabelecem uma base para pesquisas futuras nesse campo.
O sucesso do Voost demonstra o potencial das tecnologias de aprendizado profundo na experiência de provador de roupas, indicando que podemos enfrentar novas mudanças no setor de moda digital e compras online.
Projeto: https://nxnai.github.io/Voost/
Principais pontos:
🌟 O Voost é um novo framework que realiza o aprendizado conjunto de provador virtual e remoção de roupas por meio de um único transformador de difusão.
🔍 O Voost se destaca em flexibilidade de tarefas e diversidade de geração, sem necessidade de redes específicas ou rótulos adicionais.
🚀 Os resultados dos experimentos mostram que o Voost supera diversos modelos fortes em termos de precisão e qualidade visual.
