Expert Parallelism Load Balancer (EPLB) ist ein Lastenausgleichsalgorithmus für Expertenparallelität (EP) im Deep Learning. Durch eine redundante Expertenstrategie und einen heuristischen Packalgorithmus wird ein Lastenausgleich zwischen verschiedenen GPUs sichergestellt und gleichzeitig der Datenverkehr zwischen den Knoten durch gruppenbeschränkte Experten-Routing reduziert. Der Algorithmus ist für groß angelegte verteilte Trainings von großer Bedeutung und kann die Ressourcenauslastung und die Trainingseffizienz steigern.