FP8-LM Framework von Microsoft

Microsofts Open-Source-Framework FP8-LM hat bemerkenswerte Erfolge beim Training großer Sprachmodelle erzielt. Das Framework nutzt FP8-Mixed-Precision-Training und ist beim Training des GPT-175B-Modells um 64% schneller als BF16 und spart gleichzeitig 42% Speicherplatz. Mit dem FP8-LM-Framework lässt sich die Größe trainierbarer Modelle deutlich erhöhen – ein wichtiger Durchbruch im Bereich des Trainings großer Modelle.