L'adaptateur Llama-3 70B Gradient 524K est un adaptateur basé sur le modèle Llama-3 70B, développé par Gradient AI Team. Il vise à étendre la longueur du contexte du modèle à 524K grâce à la technologie LoRA, améliorant ainsi ses performances pour le traitement de longs textes. Ce modèle utilise des techniques d'entraînement avancées, notamment l'interpolation NTK-aware et la bibliothèque RingAttention, pour un entraînement efficace sur des clusters de calcul haute performance.