Das Team der Ant-BaiLing-Modellreihe kündigte kürzlich an, ihr neuestes Hochleistungsdenkmodell – Ring-flash-2.0 – offiziell als Open Source zu release. Dieses Modell wurde auf Basis von Ling-flash-2.0-base tiefgreifend optimiert und markiert einen bedeutenden Fortschritt im Bereich der Künstlichen Intelligenz. Die Gesamtanzahl der Parameter des Ring-flash-2.0 beträgt 10 Milliarden, wobei bei jedem Inferenzvorgang nur 610 Millionen aktiviert werden. Diese effiziente Aktivierungsmechanik verleiht dem Modell eine starke Rechenkapazität und spart gleichzeitig erhebliche Ressourcen.
Aus der Beschreibung des Teams geht hervor, dass Ring-flash-2.0 in mehreren anspruchsvollen Benchmark-Tests gut abschneidet, darunter Mathematikwettbewerbe, Codegenerierung und logisches Denken. Seine Leistung übertrifft nicht nur Modelle mit 4 Milliarden Parametern, sondern kann auch mit größeren, offenen Sparse-Modellen (MoE) sowie einigen proprietären, leistungsstarken Denkmodellen mithalten und zeigt damit seine hervorragende Wettbewerbsfähigkeit.
Um die Fähigkeiten des Ring-flash-2.0 vollständig zu verbessern, hat das Ant-BaiLing-Team einen innovativen zweistufigen Verstärkungslernprozess (RL) entworfen. Zunächst wird durch eine leichtgewichtige Long-CoT (lange Sequenz Ketten Denken) SFT (überwachtes Fine-Tuning) erreicht, dass das Ling-flash-2.0-base-Modell verschiedene Denkweisen beherrscht. Danach wird ein RLVR-Training (Reinforcement Learning mit verifizierbarem Reward) eingesetzt, um kontinuierlich das Deduktionspotenzial des Modells zu fördern. Schließlich wird ein RLHF-Phase (Reinforcement Learning with Human Feedback) hinzugefügt, um die allgemeinen Fähigkeiten des Modells zu stärken.
Es ist erwähnenswert, dass die Modellgewichte, der Verstärkungslernprozess und die Datenrezepte von Ring-flash-2.0 vollständig open source sein werden und somit wertvolle Ressourcen für Entwickler und Forscher bereitstellen. Interessierte Nutzer können die entsprechenden Materialien auf Hugging Face und ModelScope abrufen und mit der Erforschung dieses leistungsstarken Modells beginnen.
Mit der kontinuierlichen Entwicklung der AI-Technologie eröffnet Ring-flash-2.0 zweifellos neue Möglichkeiten für zukünftige intelligente Anwendungen und wir erwarten, dass es in verschiedenen Bereichen breite Anwendung finden und weitere Fortschritte erzielen wird!
Modelladresse:
https://huggingface.co/inclusionAI/Ring-flash-2.0
https://modelscope.cn/models/inclusionAI/Ring-flash-2.0
