Recentemente, uma equipe da Universidade Nacional de Singapura (NUS) lançou um projeto inovador chamado "OmniConsistency", que visa reproduzir a consistência do modelo GPT-4o da OpenAI em estilização de imagens com um custo extremamente baixo. Essa tecnologia não apenas resolveu o conflito atual na comunidade de código aberto entre estilização e consistência, mas também ofereceu uma solução viável para muitos desenvolvedores.
Nos últimos anos, a tecnologia de estilização de imagens tem evoluído constantemente, mas no uso prático, manter o equilíbrio entre estilo e consistência do conteúdo sempre foi um desafio. Para melhorar os efeitos de estilização, muitos modelos sacrificam detalhes e precisão semântica. A equipe de pesquisa da NUS percebeu esse problema e seu objetivo é alcançar uma combinação perfeita entre o efeito de estilização e a consistência.
O núcleo da inovação do OmniConsistency está em seu framework de aprendizado único. Diferente dos métodos anteriores, o OmniConsistency não depende exclusivamente do treinamento dos resultados de estilização, mas aprende as regras de consistência durante o processo de transferência de estilo por meio de pares de imagens de alta qualidade. O projeto usou apenas 2.600 pares de imagens de alta qualidade e, após 500 horas de treinamento com GPU, conseguiu resultados impressionantes. Esse baixo custo reduz significativamente a carga sobre os desenvolvedores.
Além disso, o OmniConsistency adota uma arquitetura modular que permite ser integrada facilmente em projetos existentes, sendo compatível com módulos LoRA (Low-Rank Adaptation) de estilização já existentes. Isso significa que os desenvolvedores podem integrar facilmente o OmniConsistency em seus projetos sem se preocupar com conflitos com sistemas existentes.
Através dessa nova tecnologia, a NUS espera injetar capacidades quase comerciais no ecossistema de código aberto, facilitando ainda mais o trabalho de desenvolvedores e criadores. No futuro, o OmniConsistency pode se tornar uma ferramenta importante no campo da geração de imagens, promovendo ainda mais o desenvolvimento da criação artística baseada em IA.
Endereço do projeto: https://github.com/showlab/OmniConsistency