OLMoE-1B-7B é um modelo de linguagem grande (LLM) misto de especialistas com 100 milhões de parâmetros ativos e 700 milhões de parâmetros totais, lançado em setembro de 2024. Este modelo demonstra desempenho excepcional em comparação com modelos de custo similar, competindo com modelos maiores como o Llama2-13B. O OLMoE é totalmente de código aberto e suporta diversas funcionalidades, incluindo geração de texto, treinamento e implantação de modelos.