Pesquisadores da Universidade da Califórnia, Berkeley, recentemente lançaram um modelo de mundo grande de código aberto (LWM), capaz de interpretar 1 milhão de dados de uma só vez, com a capacidade de gerar vídeos e imagens a partir de texto. O modelo resolve o problema de cálculo de atenção em sequências longas através da tecnologia Ring Attention, permitindo o processamento eficiente de informações multimodais. Após passar por duas fases de treinamento: pré-treinamento de modelos de linguagem e pré-treinamento multimodal, alcançou resultados notáveis.