Modelos Mundiais de Grande Escala é uma rede neural treinada usando a tecnologia RingAttention, focada no processamento de vídeos longos e sequências de linguagem para compreender o conhecimento humano e o mundo multimodal. Treinado em um conjunto de dados em larga escala, atingiu um tamanho de contexto sem precedentes e disponibiliza uma série de modelos com 7 bilhões de parâmetros, capazes de processar mais de 1 milhão de tokens de texto e vídeo.