Une équipe de recherche de l'Université de Technologie et de Design de Singapour a développé un modèle d'IA de 550 Mo nommé TinyLlama. Ce modèle est prévu pour être entraîné sur un ensemble de données de 3 billions de jetons en 90 jours, afin de s'adapter aux appareils périphériques aux ressources mémoire limitées.
L'équipe a utilisé 16 GPU A100-40G et prévoit de terminer l'entraînement dans les 90 jours. Le succès de TinyLlama offrira des solutions IA performantes pour de nombreuses applications, notamment la traduction automatique en temps réel.
Ce modèle rejoindra la famille des modèles linguistiques plus petits, utilisés pour construire diverses applications.
