Genie, um programador de IA lançado pela Cosine, alcançou uma impressionante pontuação de 30,08% na plataforma de testes autorizada SWE-Bench, superando significativamente Devin (13,8%) e Swe-agent+GPT-4 (12,47%). É considerado o programador de IA mais poderoso do mundo atualmente.
A criação do Genie não foi repentina. Em dezembro de 2022, Alistair Pullen, cofundador da Cosine, já havia apresentado um protótipo do Genie em uma demonstração na Universidade de Londres. Sua intenção era desenvolver um robô de IA capaz de executar a codificação e otimização de forma automatizada e completa, sem intervenção humana.
A significativa vantagem do Genie sobre outros produtos conhecidos se deve aos seus dados e métodos de treinamento exclusivos. O treinamento do Genie não se baseia no ajuste fino de grandes modelos convencionais, mas sim em um conjunto de dados especial que inclui o processo de raciocínio de programadores humanos, como a transmissão completa de informações, a descoberta gradual de conhecimento e as etapas de tomada de decisão baseadas em casos reais.
Durante o treinamento, o Genie utilizou um exclusivo "mecanismo de autoaperfeiçoamento". O treinamento inicial foi realizado em uma grande quantidade de dados de alta qualidade, levando o modelo a um estado de "perfeição". Em seguida, os desenvolvedores usaram o Genie para gerar dados sintéticos, que foram inseridos no treinamento posterior do modelo, a fim de enriquecer os erros e situações complexas. Esse processo é semelhante a uma mãe ensinando uma criança a andar: sempre que o Genie "caía" ou tinha uma postura incorreta, recebia correções imediatas.
As funcionalidades do Genie abrangem desenvolvimento de recursos, correção de bugs, refatoração de código, pequenas alterações de código, testes de código, e ainda a escrita e atualização de documentação de código. Ele suporta dezenas de linguagens de programação populares, incluindo JavaScript, Python, Java, C#, C++, cobrindo praticamente todas as necessidades do campo da programação.
O renomado desenvolvedor McKay expressou grande expectativa pelo Genie e deseja testar o produto o mais breve possível. Como já possui acesso ao Devin, ele poderá avaliar facilmente o desempenho do Genie.
Embora o Genie ainda esteja em fase de inscrição para testes, Alistair já anunciou que as inscrições estão abertas e que o acesso será concedido nas próximas 2 a 3 semanas, com algumas funcionalidades surpresa adicionais no lançamento.
Endereço para teste: https://cosine.sh/register