Das Alibaba DAMO Academy hat ein mehrsprachiges großes Sprachmodell (LLM) namens Babel open-source veröffentlicht. Das ehrgeizige Ziel ist es, die Sprachbarriere zu überwinden und es der KI zu ermöglichen, mit über 90 % der Weltbevölkerung in deren Muttersprache zu kommunizieren.
Viele aktuelle große Sprachmodelle bevorzugen Sprachen mit reichhaltigen Ressourcen wie Englisch, Französisch und Deutsch. Ähnlich wie Teilnehmer an globalen Konferenzen, deren Sprachen selten berücksichtigt werden, werden Sprachen wie Hindi, Bengali und Urdu mit großen Nutzerzahlen im Bereich KI oft vernachlässigt.
Alibabas Babel soll diese Situation ändern. Es unterstützt die 25 weltweit meistgesprochenen Sprachen und deckt damit über 90 % der Weltbevölkerung ab. Besonders lobenswert ist, dass Babel auch Sprachen wie Suaheli, Javanisch und Birmanisch berücksichtigt, die in Open-Source-LLMs bisher kaum vertreten sind. Diese Initiative wird Millionen von Menschen, die diese Sprachen sprechen, einen bequemeren und besseren Zugang zu KI-Sprachdiensten ermöglichen.
Im Gegensatz zu traditionellen kontinuierlichen Vortrainingsmethoden verwendet Babel eine einzigartige Layer-Erweiterungstechnik zur Verbesserung der Modellfähigkeiten. Diese Methode lässt sich so verstehen, dass dem Modell auf raffinierte Weise „Wissensreserven“ hinzugefügt werden, wodurch die Leistung gesteigert und gleichzeitig die Rechenleistung effizient genutzt wird. Das Forschungsteam hat zwei Modelle mit unterschiedlichen Eigenschaften vorgestellt: Babel-9B, optimiert für effizientes Single-GPU-Inferencing und Fine-Tuning; und Babel-83B, ein Modell mit 83 Milliarden Parametern, das als neuer Maßstab für Open-Source-Mehrsprach-LLMs dienen soll.
Um die Leistungsfähigkeit von Babel zu überprüfen, führte das Forschungsteam strenge Bewertungen in verschiedenen mehrsprachigen Aufgaben durch. Die Ergebnisse waren beeindruckend: Sowohl Babel-9B mit 9 Milliarden Parametern als auch Babel-83B mit 83 Milliarden Parametern übertrafen in mehreren Benchmark-Tests andere Open-Source-Modelle ähnlicher Größe. Babel zeigte beispielsweise hervorragende Leistungen bei Aufgaben wie Weltwissen (MMMLU, M3Exam), Inferenz (MGSM, XCOPA), Verständnis (XNLI) und Übersetzung (Flores-200).
Besonders hervorzuheben ist, dass Babel bei der Verarbeitung ressourcenarmer Sprachen eine Genauigkeitssteigerung von 5 % bis 10 % im Vergleich zu bisherigen mehrsprachigen LLMs aufwies. Dies zeigt, dass Babel neben der Verbesserung der Sprachauswahl auch die Leistung des Modells in verschiedenen Sprachen im Blick hat.
Noch überraschender ist, dass nach einem Supervised Fine-Tuning (SFT) mit über einer Million Dialogdaten die Chat-Versionen Babel-9B-Chat und Babel-83B-Chat beeindruckende Konversationsfähigkeiten zeigten. Ihre Leistung ist sogar mit einigen Top-kommerziellen KI-Modellen vergleichbar, wobei Babel-83B-Chat in einigen Aufgaben bereits mit GPT-4o mithalten kann. Dies verleiht der Open-Source-Community neuen Schwung und beweist, dass Open-Source-Modelle auch im Bereich der Mehrsprachigkeit führend sein können.
