Die Alibaba-Gruppe hat kürzlich ihr neues Architekturmodell Qwen3-Next-80B-A3B öffentlich gemacht und damit einen wichtigen Fortschritt in der KI-generierten Inhaltsproduktion (AIGC) markiert. Das Modell bringt Innovationen in der gemischten Aufmerksamkeitsmechanik, dem hochscharfen Expertenmodell (MoE) und den Trainingsmethoden mit sich und zeigt eine signifikante Leistungssteigerung.
Das Gesamtparameter von Qwen3-Next erreicht 80 Milliarden, aktiviert aber nur 3 Milliarden Parameter während des Inferenzprozesses, wodurch die Trainingskosten im Vergleich zu seinem Vorgängermodell Qwen3-32B um 90 % reduziert wurden. Darüber hinaus wurde die Inferenzeffizienz um das Zehnfache gesteigert, insbesondere bei der Verarbeitung von sehr langen Texten (über 32K). Dies ermöglicht es Qwen3-Next, bei der Ausführung von Anweisungen und der Bearbeitung von langen Kontextaufgaben mit dem Flaggschiffmodell der Firma Qwen3-235B konkurrieren oder sogar das neuere Gemini-2.5-Flash-Modell von Google zu übertreffen.
Die zentrale Innovation dieses Modells besteht in der gemischten Expertenarchitektur, die die Kombination aus Gate DeltaNet und Gate Attention beinhaltet. Durch diese Gestaltung überwindet Qwen3-Next die Schwächen der traditionellen Aufmerksamkeitsmechanismen bei der Verarbeitung langer Kontexte, wobei sowohl Geschwindigkeit als auch die Fähigkeit zur Kontextlernung gewährleistet werden. Während des Trainings verwendet das Modell eine hochscharfe MoE-Struktur, die die Ressourcennutzung maximiert, ohne die Leistung zu beeinträchtigen.
Darüber hinaus hat Qwen3-Next eine mehrfache Token-Vorhersage-Mechanismus eingeführt, was die Leistung des Modells bei vorschnellem Dekodieren verbessert. In der Vortrainingsphase zeigte Qwen3-Next eine deutlich höhere Effizienz im Vergleich zu Qwen3-32B, wobei die Trainingskosten lediglich 9,3 % betragen haben, aber die Leistung besser war. In Bezug auf die Inferenzgeschwindigkeit hat Qwen3-Next bei der Verarbeitung langer Texte eine siebenfache Steigerung der Durchsatzrate im Vergleich zu Qwen3-32B erzielt und behält selbst bei noch längeren Kontexten einen zehnfachen Geschwindigkeitsvorteil.
Das neue Modell der Alibaba-Gruppe hat nicht nur technologische Durchbrüche erzielt, sondern auch breite Aufmerksamkeit und positive Rückmeldungen erhalten, insbesondere unter Entwicklern und Forschern. Sowohl in Bezug auf technologische Innovationen als auch auf Marktwettbewerbsfähigkeit markiert Qwen3-Next einen weiteren Schritt vorwärts für Alibaba im Bereich Künstliche Intelligenz.
Online-Erlebnis: https://chat.qwen.ai/
Open-Source-Adresse: https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
Wichtige Punkte:
🌟 Das Qwen3-Next-80B-A3B-Modell verfügt über insgesamt 80 Milliarden Parameter, die Trainingskosten sind um 90 % gesunken und die Inferenzeffizienz ist um das Zehnfache gestiegen.
🔍 Das neue Modell verwendet eine gemischte Expertenarchitektur und ein mehrfaches Token-Vorhersagemodell, wodurch die Fähigkeit zur Verarbeitung von Kontexten deutlich verbessert wird.
🚀 Bei der Inferenzgeschwindigkeit zeigt Qwen3-Next bei Szenarien mit extrem langen Texten gute Leistungen, wobei der Durchsatz gegenüber dem Vorgängermodell um 7 bis 10 Mal gestiegen ist.
