Une équipe de chercheurs de l'Université Tsinghua a proposé un optimiseur 4 bits pour l'entraînement des réseaux neuronaux, permettant de réduire la consommation de mémoire lors de l'entraînement de grands modèles. Cet optimiseur réduit la consommation de mémoire vive jusqu'à 57 % sans perte de précision. L'équipe a également fourni un optimiseur 4 bits prêt à l'emploi, remplaçant les optimiseurs existants et prenant en charge les versions basse précision d'Adam et de SGD. Cette recherche est d'une importance capitale pour résoudre les problèmes de mémoire vive liés à l'entraînement de grands modèles.
Réduction de moitié des besoins en mémoire vive pour l'affinement de LLaMA grâce à un optimiseur 4 bits de Tsinghua

机器之心
Cet article provient d'AIbase Daily
Bienvenue dans la section [AI Quotidien] ! Voici votre guide pour explorer le monde de l'intelligence artificielle chaque jour. Chaque jour, nous vous présentons les points forts du domaine de l'IA, en mettant l'accent sur les développeurs, en vous aidant à comprendre les tendances technologiques et à découvrir des applications de produits IA innovantes.