Kürzlich hat Meituan offiziell sein neuestes Open-Source-Modell für große Sprachmodelle LongCat (Kaninchen) vorgestellt, mit dem es die Entwicklung und Anwendung von KI-Technologien vorantreiben möchte. Die Veröffentlichung dieses Modells markiert nicht nur einen wichtigen Fortschritt von Meituan im Bereich KI, sondern bietet auch Entwicklern und Forschern ein leistungsstarkes neues Werkzeug.
Die Kernversion von LongCat LongCat-Flash verfügt über 56 Milliarden Parameter. Sein zentraler Vorteil besteht in der innovativen Architektur der gemischten Experten (MoE). Diese Architektur aktiviert dynamisch nur 18,6 bis 31,3 Milliarden Parameter (durchschnittlich etwa 27 Milliarden) je nach Kontextbedarf, wodurch die Berechnungseffizienz deutlich optimiert wird. Dadurch erreicht LongCat eine Verarbeitungsgeschwindigkeit von mehr als 100 Zeichen pro Sekunde während des Inferenzprozesses und zeigt damit herausragende Leistung.
Auf technischer Ebene legt Meituan besonderen Wert auf die Stabilität und Skalierbarkeit des Modells. Durch eine Reihe von Optimierungsstrategien kann LongCat effizient auf einer Skala von über 100.000 Beschleunigern trainiert werden und ermöglicht zudem eine niedrige Latenz bei der Inferenz. Darüber hinaus wurde bei der Modellgestaltung auch die dynamische Zuordnung der Parameteraktivierung berücksichtigt, um in verschiedenen Aufgaben eine gleichmäßige Rechenlast zu gewährleisten.
Um die Fähigkeiten des Modells zu verbessern, verwendet LongCat einen mehrstufigen Trainingspipeline. Im ersten Training wird ein Grundmodell erstellt und durch Strategien zur Datenfusion optimiert; im zweiten Training wird seine Schlussfolgerungs- und Kodierungsfähigkeit weiter gesteigert und die Kontextlänge auf 128k erweitert, um komplexere Aufgabenbedürfnisse zu erfüllen.
Evaluierungsergebnisse zeigen, dass LongCat in mehreren Benchmarks mit führenden Modellen der Branche vergleichbar ist und insbesondere in den Bereichen MMLU, mathematisches Schließen und allgemeines Schließen eine gute Genauigkeit aufweist. Diese Ergebnisse bestätigen nicht nur die technischen Fähigkeiten von LongCat, sondern legen auch den Grundstein für dessen Potenzial in praktischen Anwendungen.
Meituan erklärt, dass es durch die Offenlegung dieses leistungsstarken Modells hofft, die Weitergabe und Entwicklung von KI-Technologien zu fördern und mehr Entwicklern zu helfen, wodurch der gesamte Branchenfortschritt vorangetrieben wird. Die Open-Source-Veröffentlichung von LongCat wird zweifellos zu einem wertvollen Helfer für zukünftige KI-Anwendungen werden.
Adresse: https://longcat.chat/
