Meta-Llama-3-120B-Instruct est un grand modèle linguistique basé sur Meta-Llama-3-70B-Instruct, auto-fusionné via MergeKit. Il excelle dans la création littéraire, mais peut présenter des difficultés pour d'autres tâches. Ce modèle utilise le modèle de conversation Llama 3, avec une fenêtre contextuelle par défaut de 8K, extensible grâce à la méthode Rope-theta. La génération de texte peut parfois contenir des fautes d'orthographe, et le modèle a tendance à utiliser des majuscules.