Recentemente, a Answer.AI e a LightOn lançaram em conjunto o modelo de linguagem de código aberto ModernBERT, uma atualização significativa do BERT do Google. De acordo com os desenvolvedores, o ModernBERT apresenta melhorias significativas em velocidade de processamento, eficiência e qualidade. O modelo é quatro vezes mais rápido que seu predecessor, utilizando menos memória.
O ModernBERT foi projetado para processar textos com até 8192 tokens, um aumento de 16 vezes em relação ao limite típico de 512 tokens dos modelos de codificação existentes. Além disso, o ModernBERT é o primeiro modelo de codificação de código de programação amplamente treinado, obtendo uma pontuação superior a 80 no conjunto de dados de perguntas e respostas do StackOverflow, estabelecendo um novo recorde para modelos de codificação.
Na avaliação de compreensão de linguagem geral (GLUE), o ModernBERT-Large atingiu o melhor equilíbrio entre velocidade e precisão, com um tempo de processamento de aproximadamente 20 milissegundos por token e uma pontuação de 90. A equipe de desenvolvimento descreve o ModernBERT como um Honda Civic afinado, destacando sua confiabilidade e eficiência em aplicações cotidianas.
Em comparação com modelos de linguagem grandes existentes, como o GPT-4, o ModernBERT reduz significativamente os custos no processamento de textos em larga escala. Enquanto o GPT-4 custa alguns centavos por consulta, o ModernBERT pode ser executado localmente, sendo mais rápido e econômico. Por exemplo, o projeto FineWeb Edu gastou US$ 60.000 usando o modelo BERT para filtrar 15 bilhões de tokens, enquanto mesmo com o decodificador Gemini Flash do Google, o custo ultrapassou US$ 1 milhão.
A equipe de desenvolvimento afirma que o ModernBERT é ideal para diversas aplicações práticas, incluindo sistemas de geração aprimorada por recuperação (RAG), busca de código e revisão de conteúdo. Diferentemente do GPT-4, que requer hardware especializado, o ModernBERT pode ser executado eficientemente em GPUs de jogos comuns para consumidores.
Atualmente, o ModernBERT está disponível em duas versões: um modelo básico com 139 milhões de parâmetros e um modelo grande com 395 milhões de parâmetros. Ambas as versões já foram lançadas no Hugging Face, e os usuários podem substituir seus modelos BERT existentes diretamente. A equipe de desenvolvimento planeja lançar versões maiores no próximo ano, mas não há planos para capacidades multimodais. Para promover o desenvolvimento de novos aplicativos, eles também lançaram uma competição, premiando os cinco melhores demonstradores com US$ 100 e uma assinatura profissional do Hugging Face por seis meses.
Desde o lançamento do BERT pelo Google em 2018, o modelo tem sido um dos modelos de linguagem mais populares, com mais de 68 milhões de downloads mensais no HuggingFace.
Acesso ao projeto: https://huggingface.co/blog/modernbert
Destaques:
🌟 O ModernBERT é quatro vezes mais rápido que o BERT e pode processar textos com até 8192 tokens.
💰 Em comparação com o GPT-4, o ModernBERT reduz significativamente os custos de processamento de texto em larga escala e é mais eficiente.
📊 O modelo é particularmente eficiente no processamento de código de programação, obtendo uma pontuação superior a 80 no conjunto de dados de perguntas e respostas do StackOverflow, estabelecendo um novo recorde.
