Llama-3 8B Instruct 262k é um modelo de geração de texto desenvolvido pela equipe Gradient AI. Ele estende o comprimento do contexto do Llama-3 8B para mais de 160K, demonstrando o potencial de modelos de linguagem de grande porte (SOTA - State of the Art) no aprendizado de operações com textos longos. O modelo alcança esse aprendizado eficiente em textos longos por meio de ajustes apropriados do parâmetro RoPE theta, combinados com interpolação NTK-aware e técnicas de otimização orientadas por dados. Além disso, ele é construído com base na biblioteca EasyContext Blockwise RingAttention, para permitir treinamento escalável e eficiente em hardware de alto desempenho.