Expert Parallelism Load Balancer (EPLB) est un algorithme d'équilibrage de charge pour le parallélisme expert (EP) en apprentissage profond. Grâce à une stratégie d'experts redondants et à un algorithme d'empaquetage heuristique, il assure l'équilibrage de charge entre les différents GPU, tout en utilisant le routage expert limité par groupe pour réduire le trafic de données inter-nœuds. Cet algorithme est d'une importance capitale pour l'entraînement distribué à grande échelle, permettant d'améliorer l'utilisation des ressources et l'efficacité de l'entraînement.