Meta ha lanzado el modelo Llama 2-Long, que procesa textos largos sin aumentar la demanda computacional, manteniendo un rendimiento excepcional. Gracias al preentrenamiento continuo, la mejora en la codificación posicional y una estrategia de mezcla de datos, se reduce el gasto computacional hasta en un 40%. Muestra un rendimiento excelente tanto en tareas largas como cortas, incluso superando a GPT-3.5. Este lanzamiento inyecta una nueva vitalidad al campo del procesamiento del lenguaje natural.