NVIDIA s'associe à MIT pour lancer le cadre Fast-dLLM, avec une accélération de 27,6 fois de l'inférence AI

Le nouveau framework d1 révolutionne l'inférence des modèles de diffusion et suscite une nouvelle vague d'applications de l'apprentissage par renforcement

Google AI propose un cadre fondamental pour l'extrapolation du temps d'inférence dans les modèles de diffusion

Une équipe de chercheurs de l'Université de New York, du MIT et de Google a récemment proposé un cadre innovant pour résoudre les problèmes d'extrapolation du temps d'inférence dans les modèles de diffusion. Cette recherche révolutionnaire va au-delà des méthodes traditionnelles consistant simplement à augmenter le nombre d'étapes de débruitement, ouvrant ainsi de nouvelles voies pour améliorer les performances des modèles génératifs. Ce cadre repose principalement sur deux dimensions : l'utilisation d'un validateur pour fournir des commentaires et la mise en œuvre d'un algorithme pour trouver de meilleurs candidats de bruit. L'équipe de recherche a utilisé un modèle SiT-XL pré-entraîné à une résolution de 256×256 comme base, en maintenant 250 étapes de débruitement fixes

ByteDance lance Infinity : une nouvelle percée en génération d'images à partir de texte autorégressive, surpassant les modèles de diffusion

Dans le domaine de l'intelligence artificielle, le dernier modèle Infinity, issu de l'équipe technique de ByteDance, s'impose comme le nouveau leader de la génération d'images à partir de texte autorégressive grâce à ses performances exceptionnelles et à son innovation technologique. Ce nouveau modèle open source surpasse non seulement Stable Diffusion 3 en termes de qualité de génération d'images, mais présente également un avantage significatif en termes de vitesse d'inférence. L'innovation principale du modèle Infinity réside dans l'adoption d'un framework autorégressif Bitwise Token, qui prédit la résolution de niveau suivant en constituant un +1 ou un -1.

Développé par ByteDance et l'USTC ! VMix : une extension pour améliorer l'esthétique des modèles de diffusion, plug-and-play

Dans le domaine de la génération d'images à partir de texte, les modèles de diffusion ont démontré des capacités exceptionnelles, mais présentent encore certaines lacunes en matière de génération d'images esthétiques. Récemment, une équipe de recherche de ByteDance et de l'Université des sciences et technologies de Chine a proposé une nouvelle technologie appelée adaptateur « Cross-Attention Value Mixing Control » (VMix), visant à améliorer la qualité des images générées tout en conservant une généralité pour divers concepts visuels. L'idée principale de l'adaptateur VMix réside dans la conception d'un contrôle conditionnel supérieur…

Les modèles de diffusion peuvent-ils aussi jouer à des jeux ? DIAMOND établit un nouveau record pour l'évaluation Atari 100k

L'apprentissage par renforcement a connu de nombreux succès ces dernières années, mais son faible rendement d'échantillonnage limite son application dans le monde réel. Les modèles du monde, en tant que modèles génératifs d'environnements, offrent une solution prometteuse à ce problème. Ils peuvent servir d'environnements simulés pour entraîner des agents d'apprentissage par renforcement avec une efficacité d'échantillonnage accrue. Actuellement, la plupart des modèles du monde simulent la dynamique de l'environnement à l'aide de séquences de variables latentes discrètes. Cependant, cette méthode de compression en une représentation discrète compacte peut négliger des détails visuels cruciaux pour l'apprentissage par renforcement. Parallèlement, les modèles de diffusion sont devenus dominants dans le domaine de la génération d'images.

Les modèles de diffusion peuvent-ils aussi faire preuve de « transfert d'apprentissage » ? IC-LoRA d'Alibaba dote les modèles de génération d'images d'une capacité de mémorisation contextuelle

Les dernières recherches des laboratoires Tongyi d'Alibaba montrent que les modèles de diffusion Transformer texte-vers-image existants possèdent déjà la capacité de générer plusieurs images ayant une relation spécifique. Une simple « orientation » suffit pour qu'ils « maîtrisent » la génération de collections d'images de haute qualité. Les modèles de diffusion traditionnels ressemblent davantage à des étudiants qui « apprennent par cœur » et nécessitent un entraînement sur d'énormes quantités de données pour générer des images de haute qualité. Grâce à IC-LoRA, ils deviennent des « étudiants brillants » capables de « faire des liens », nécessitant ainsi moins de données.

Flash Diffusion : Génération d'images en quelques étapes pour tous les modèles de diffusion

Une nouvelle méthode révolutionnaire pour la génération d'images, appelée Flash Diffusion, a été présentée dans une récente étude. Elle accélère le processus de génération des modèles de diffusion pré-entraînés en entraînant un modèle prédictif qui génère en une seule étape le résultat de prédictions débruitées multi-étapes.

DiffuseKronA : une méthode d'ajustement fin des modèles de diffusion personnalisés, réduisant les paramètres et synthétisant des images de haute qualité

DiffuseKronA utilise un module de produit de Kronecker pour réduire considérablement le nombre de paramètres et synthétiser des images de haute qualité. Ce modèle excelle en termes de qualité d'image générée, de correspondance texte-image et d'efficacité des paramètres. DiffuseKronA est plus stable et plus interprétable que LoRA-DreamBooth, offrant de meilleures performances en termes d'efficacité des paramètres et de stabilité du modèle. La décomposition de la matrice de poids des couches d'attention du modèle UNet via le produit de Kronecker permet une optimisation efficace des paramètres.

Génération de paramètres de réseaux neuronaux à l'aide de modèles de diffusion : LeCun salue la nouvelle recherche de l'équipe de Yu Yang

Les modèles de diffusion présentent un potentiel d'application considérable dans divers domaines. Une nouvelle étude révèle que les modèles de diffusion peuvent être utilisés pour générer des paramètres de réseaux neuronaux. La méthode p-diff permet de générer des paramètres hautes performances. Les résultats de la recherche montrent que la nouvelle méthode possède d'excellentes performances de généralisation. Les modèles de diffusion présentent un potentiel énorme pour les tâches de génération de paramètres.

Les technologies derrière le succès fulgurant de Sora : un aperçu des dernières avancées des modèles de diffusion

Les modèles génératifs profonds ont fait des progrès significatifs dans la réalisation de l'imagination humaine par les machines, notamment les modèles de diffusion qui excellent dans de nombreux domaines. Les modèles de diffusion ont surmonté les limites d'autres modèles génératifs, offrant un objectif d'entraînement plus stable et de meilleurs résultats de génération. Une revue de littérature publiée dans IEEE TKDE par l'Université chinoise de Hong Kong en collaboration avec l'Université de Westlake et le MIT explore en profondeur les progrès et les domaines d'application des modèles de diffusion. Des techniques telles que la distillation de connaissances, l'amélioration des méthodes d'entraînement et l'accélération des modèles de pré-entraînement ont permis d'améliorer la vitesse et l'efficacité de l'échantillonnage des modèles de diffusion. Modèles de diffusion