Au récent congrès international sur l'apprentissage automatique (ICML), Kuaishou a présenté avec l'Université de Shanghai Jiao Tong un modèle de génération et d'interprétation multimodal prometteur, appelé Orthus. Ce modèle, basé sur une architecture Transformer autoregressive, est capable de convertir librement entre texte et images, montrant des capacités de génération sans précédent, et est désormais ouvert au public.
Le point fort le plus remarquable d'Orthus réside dans son efficacité computationnelle exceptionnelle et sa forte capacité d'apprentissage. Des études ont montré qu'avec très peu de ressources informatiques, Orthus dépasse les modèles existants de génération et d'interprétation hybrides, tels que Chameleon et Show-o, sur plusieurs indicateurs d'interprétation d'images. Sur l'indicateur GenEval pour la génération d'images à partir de textes, Orthus s'est même révélé supérieur aux modèles de diffusion SDXL conçus spécifiquement pour ce but.
Ce modèle peut non seulement gérer les relations entre texte et images, mais il montre également un grand potentiel dans des applications telles que l'édition d'images et la génération de sites web. La conception architecturale d'Orthus est très astucieuse, utilisant un réseau principal Transformer autoregressive, accompagné de têtes de génération spécifiques à chaque modalité, destinées respectivement à la génération de texte et d'images. Cette conception permet efficacement de séparer la modélisation des détails d'images et l'expression des caractéristiques de texte, permettant à Orthus de se concentrer sur la modélisation des relations complexes entre texte et images.
Plus précisément, Orthus est composé de plusieurs composants principaux, notamment un tokeniseur de texte, un autoencodeur visuel et deux modules d'encodage spécifiques à chaque modalité. Il intègre les caractéristiques du texte et des images dans un espace de représentation uniforme, rendant le traitement des dépendances entre les modalités plus efficace. Pendant la phase de raisonnement, le modèle génère de manière autoregressive le prochain token de texte ou les caractéristiques d'image en fonction de balises spécifiques, démontrant une grande flexibilité.
Avec ces conceptions innovantes, Orthus évite non seulement les divergences entre le modélage de diffusion en bout à bout et le mécanisme autoregressif, mais réduit également les pertes d'information dues à la discrétisation des images. Ce modèle peut être considéré comme une extension réussie des travaux MAR d'He Kaiming dans le domaine de la génération d'images vers le domaine multimodal.
Cette collaboration entre Kuaishou et l'Université de Shanghai Jiao Tong apporte certainement de nouvelles possibilités au développement des modèles de génération multimodal, méritant l'attention et l'espoir de la communauté professionnelle et académique.