Récemment, l'équipe de l'Université Nationale de Singapour (NUS) a publié un projet innovant appelé « OmniConsistency », visant à reproduire avec une faible charge de coût les performances de l'effet stylistique de la version OpenAI de GPT-4o. Cette technologie ne résout pas seulement la contradiction actuelle entre le style et la cohérence dans la communauté open source, mais fournit également aux développeurs une solution pratique.
Ces dernières années, la technique de stylisation des images s'est améliorée, mais dans les applications pratiques, le maintien du bon équilibre entre le style et la cohérence est toujours un défi. Pour améliorer l'effet de stylisation, beaucoup de modèles sacrifient souvent la précision des détails et du sens. L'équipe de recherche de NUS a pris conscience de ce problème et vise à atteindre un parfait équilibre entre l'effet de stylisation et la cohérence.
L'innovation centrale d'OmniConsistency réside dans son cadre d'apprentissage unique. Contrairement aux méthodes précédentes, OmniConsistency n'apprend pas uniquement sur les résultats de stylisation, mais apprend également les règles de cohérence dans le processus de migration de style via des paires d'images correspondantes. Ce projet utilise seulement 2600 paires d'images de haute qualité après 500 heures de calcul GPU pour obtenir des résultats impressionnants. Un tel faible coût allège considérablement la charge des développeurs.
De plus, OmniConsistency adopte une architecture modulaire, compatible avec l'insertion immédiate et en plug-and-play, intégrable avec divers modules LoRA (adaptation de rang bas) existants. Cela signifie que les développeurs peuvent facilement intégrer OmniConsistency dans leurs projets sans craindre de conflits avec les systèmes existants.
Avec cette nouvelle technologie, NUS souhaite injecter dans l'écosystème open source une capacité presque commerciale, facilitant davantage les développeurs et créateurs. À l'avenir, OmniConsistency pourrait devenir un outil essentiel dans le domaine de la génération d'images et stimuler davantage le développement de la création artistique assistée par l'intelligence artificielle.
Adresse du projet : https://github.com/showlab/OmniConsistency