Memory Layers at Scale é uma forma inovadora de implementar camadas de memória. Através de um mecanismo de busca chave-valor treinável, adiciona parâmetros extras ao modelo sem aumentar o número de operações de ponto flutuante. Este método é particularmente importante em modelos de linguagem em larga escala, pois aumenta significativamente a capacidade de armazenamento e recuperação do modelo, mantendo a eficiência computacional. As principais vantagens desta tecnologia incluem a expansão eficiente da capacidade do modelo, a redução do consumo de recursos computacionais e o aumento da flexibilidade e escalabilidade do modelo. Este projeto foi desenvolvido pela equipe Meta Lingua e é adequado para cenários que exigem o processamento de grandes volumes de dados e modelos complexos.