Meta-Llama-3-120B-Instruct é um grande modelo de linguagem baseado no Meta-Llama-3-70B-Instruct, auto-combinado através do MergeKit. Apresenta excelente desempenho em escrita criativa, mas pode apresentar desafios em outras tarefas. O modelo utiliza o template de bate-papo Llama 3, com janela de contexto padrão de 8K, expansível através de técnicas de 'rope theta'. Às vezes, o modelo apresenta erros ortográficos na geração de texto e tende a usar letras maiúsculas.