Une équipe de chercheurs de l'Université Tsinghua a proposé un optimiseur 4 bits pour l'entraînement des réseaux neuronaux, permettant de réduire la consommation de mémoire lors de l'entraînement de grands modèles. Cet optimiseur réduit la consommation de mémoire vive jusqu'à 57 % sans perte de précision. L'équipe a également fourni un optimiseur 4 bits prêt à l'emploi, remplaçant les optimiseurs existants et prenant en charge les versions basse précision d'Adam et de SGD. Cette recherche est d'une importance capitale pour résoudre les problèmes de mémoire vive liés à l'entraînement de grands modèles.