LLaDA est un nouveau modèle de diffusion qui génère du texte par le biais d'un processus de diffusion, contrairement aux modèles autoregressifs traditionnels. Il excelle en termes d'extensibilité de la génération de langage, de respect des instructions, d'apprentissage contextuel, de capacité de dialogue et de capacité de compression. Ce modèle a été développé par des chercheurs de l'Université du Peuple chinois et du groupe Ant, il a une taille de 8B et a été entièrement entraîné à partir de zéro. Ses principaux avantages sont sa capacité à générer du texte de manière flexible grâce au processus de diffusion, sa prise en charge de diverses tâches linguistiques telles que la résolution de problèmes mathématiques, la génération de code, la traduction et les dialogues multitours. L'arrivée de LLaDA ouvre de nouvelles perspectives pour le développement des modèles linguistiques, notamment en termes de qualité et de flexibilité de génération.