OLMo : Premier grand modèle linguistique 100% open source

L'Institut de recherche sur l'intelligence artificielle d'Allen, en collaboration avec plusieurs universités, a publié OLMo, le premier grand modèle linguistique entièrement open source au monde. Ce modèle inclut les poids, le code, les ensembles de données et l'intégralité du processus d'entraînement. Les évaluations de performance montrent qu'OLMo-7B surpasse légèrement ses concurrents sur plusieurs tâches. Simultanément, les chercheurs ont rendu public l'ensemble de données de pré-entraînement Dolma, stimulant ainsi la recherche ouverte dans le domaine des modèles linguistiques pré-entraînés. En termes de transparence des données, des outils de préparation et d'analyse des données sont fournis.