Genie, un programmeur IA développé par Cosine, a obtenu un score impressionnant de 30,08 % sur la plateforme de test de référence SWE-Bench, devançant largement Devin (13,8 %) et Swe-agent+GPT-4 (12,47 %). Il est considéré comme le programmeur IA le plus puissant au monde actuellement.
La création de Genie n'a pas été le fruit du hasard. Dès décembre 2022, Alistair Pullen, co-fondateur de Cosine, présentait un prototype de Genie lors d'une présentation à l'Université de Londres. Son objectif était de développer un robot IA capable d'exécuter automatiquement et de bout en bout le codage et l'optimisation, sans aucune intervention humaine.
L'avance significative de Genie sur ses concurrents est due à ses données et méthodes d'entraînement uniques. Au lieu de l'habituel ajustement fin de grands modèles, Genie utilise un ensemble de données spécial contenant le processus de raisonnement des programmeurs humains, incluant la transmission complète d'informations, la découverte progressive des connaissances et les étapes de prise de décision basées sur des cas concrets.
Genie utilise un « mécanisme d'auto-amélioration » unique pendant son entraînement. L'entraînement initial est effectué sur un grand volume de données de haute qualité, permettant au modèle d'atteindre un état « parfait ». Ensuite, les développeurs utilisent Genie pour générer des données synthétiques, qui sont ensuite intégrées à l'entraînement ultérieur du modèle, afin d'enrichir les erreurs et les situations complexes. Ce processus est comparable à celui d'une mère apprenant à son enfant à marcher : chaque fois que Genie « tombe » ou adopte une mauvaise posture, il est corrigé.
Genie couvre le développement de fonctionnalités, la correction de bogues, la refonte de code, les petites modifications de code, les tests de code, ainsi que la rédaction et la mise à jour de la documentation du code. Il prend en charge des dizaines de langages de programmation populaires, tels que JavaScript, Python, Java, C#, C++, couvrant ainsi presque tous les besoins du domaine de la programmation.
Le développeur renommé McKay a exprimé son enthousiasme pour Genie et son souhait de tester rapidement le produit. Ayant déjà accès à Devin, il pourra facilement évaluer les performances de Genie.
Bien que Genie soit actuellement en phase de demande de test, Alistair a annoncé que les inscriptions sont ouvertes et que les accès seront distribués dans les 2 à 3 prochaines semaines, avec quelques fonctionnalités surprises lors de la sortie.
Adresse d'inscription : https://cosine.sh/register