ImagenHub est une bibliothèque tout-en-un pour l'inférence et l'évaluation standardisées de tous les modèles de génération d'images conditionnelles. Ce projet définit tout d'abord sept tâches importantes et crée des ensembles de données d'évaluation de haute qualité. Ensuite, nous construisons un pipeline d'inférence unifié pour assurer une comparaison équitable. Troisièmement, nous concevons deux indicateurs d'évaluation humaine, à savoir la cohérence sémantique et la qualité perceptive, et établissons des lignes directrices complètes pour évaluer les images générées. Nous formons des évaluateurs experts pour évaluer les sorties des modèles en fonction des indicateurs proposés. Cette évaluation humaine a atteint un haut niveau de cohérence inter-évaluateurs sur 76 % des modèles. Nous avons évalué de manière exhaustive environ 30 modèles et avons observé trois conclusions clés : (1) Les performances des modèles existants sont généralement insatisfaisantes, 74 % des modèles ayant obtenu un score global inférieur à 0,5, à l'exception de la génération d'images guidée par du texte et de la génération d'images guidée par un sujet. (2) Nous avons vérifié les affirmations des articles publiés et constaté que 83 % de ces affirmations étaient correctes. (3) À l'exception de la génération d'images guidée par un sujet, aucun des indicateurs d'évaluation automatique existants n'a présenté un coefficient de corrélation de Spearman supérieur à 0,2. À l'avenir, nous continuerons à évaluer les nouveaux modèles publiés et mettrons à jour le classement pour suivre les progrès du domaine de la génération d'images conditionnelles.