Recientemente, un equipo de la Universidad Nacional de Singapur (NUS) lanzó un proyecto innovador llamado "OmniConsistency", diseñado para reproducir de manera consistente el modelo GPT-4o de OpenAI en estilización de imágenes a un costo extremadamente bajo. Esta tecnología no solo resuelve la contradicción existente entre la comunidad de código abierto en cuanto a estilización y consistencia, sino que también ofrece una solución viable a muchos desarrolladores.
En los últimos años, la tecnología de estilización de imágenes ha avanzado constantemente, pero en la práctica, el equilibrio entre estilo y consistencia del contenido siempre ha sido un desafío. Para mejorar el efecto de estilización, muchos modelos sacrifican detalles y precisión semántica. El equipo de investigación de NUS reconoce este problema y su objetivo es lograr la combinación perfecta entre el efecto de estilización y la consistencia.
La innovación central de OmniConsistency radica en su marco de aprendizaje único. A diferencia de los métodos anteriores, OmniConsistency no depende únicamente del entrenamiento basado en resultados estilizados, sino que aprende patrones de consistencia en la transferencia de estilo a través de pares de datos de imágenes. Este proyecto solo utilizó 2600 pares de imágenes de alta calidad, después de 500 horas de entrenamiento con GPU, logrando un resultado impresionante. Este bajo costo alivia considerablemente la carga para los desarrolladores.
Además, OmniConsistency adopta una arquitectura modular que permite la integración plug-and-play y es compatible con diversos módulos LoRA (adaptación de baja rango) existentes. Esto significa que los desarrolladores pueden integrar fácilmente OmniConsistency en sus proyectos sin preocuparse por conflictos con sistemas existentes.
Con esta nueva tecnología, NUS espera inyectar capacidades casi comerciales en el ecosistema de código abierto, facilitando aún más el trabajo para muchos desarrolladores y creadores. En el futuro, OmniConsistency podría convertirse en una herramienta importante en el campo de la generación de imágenes y promover el desarrollo adicional de la creación artística impulsada por IA.
Dirección del proyecto: https://github.com/showlab/OmniConsistency