Das Unternehmen Moonshot AI hat offiziell sein neuestes Werk – das Kimi K2-Modell – veröffentlicht und gleichzeitig die Open-Source-Veröffentlichung angekündigt. Dieses Basismodell, das auf der MoE-Architektur basiert, hat mit seiner starken Code-Fähigkeit und hervorragenden Fähigkeiten im Umgang mit allgemeinen Agent-Aufgaben große Aufmerksamkeit in der KI-Branche erregt.
Das Kimi K2-Modell verfügt über insgesamt 1 Tera-Parameter und aktiviert 32 Milliarden Parameter. In einer Reihe von Benchmark-Tests wie SWE Bench Verified, Tau2 und AceBench erreichte es führende Ergebnisse unter den Open-Source-Modellen und zeigt damit seine führende Stärke in Bereichen wie Code-Schreiben, Ausführung von Agent-Aufgaben und mathematischer Schlussfolgerung.
Im Vortrainierungsstadium verwendete Kimi K2 einen innovativen MuonClip-Optimierer, der effektiv das Problem des zu großen Attention-Logits bei großflächigen Trainings löste und die Trainingsstabilität sowie die Token-Nutzungseffizienz auf ein neues Niveau hob. Das Moonshot-Team hat erfolgreich eine stabile Trainierung von 15,5 Billionen Tokens durchgeführt, ohne Verlustspitzen, was neue Ansätze für stabile und effiziente Trainings von Modellen mit Trillionen-Parametern bietet.
Außerdem zeigte Kimi K2 im praktischen Anwendungsfall starke Fähigkeiten der Generalisierung und Praktikabilität. In Bezug auf die Code-Fähigkeit kann Kimi K2 nicht nur Frontend-Code erstellen, der sowohl Design als auch visuelle Darstellung besitzt, sondern unterstützt auch komplexe Darstellungsformen wie Partikelsysteme, Visualisierungen und 3D-Szenen. Es kann sogar vollständige Futures-Handels-Interfaces ohne konkrete Anweisungen automatisch aufbauen und seine starke Fähigkeit zur eigenständigen Programmierung demonstrieren.
In Bezug auf die Tool-Aufrufe von Agenten zeigte sich Kimi K2 ebenfalls äußerst leistungsstark. Es kann komplexe Befehle stabil analysieren, Anforderungen automatisch in eine Reihe von standardisierten, direkt ausführbaren ToolCall-Strukturen zerlegen und nahtlos in verschiedene Agent/Coding-Frameworks integrieren, um komplexe Aufgaben oder automatisierte Codierung abzuschließen. Ob es darum geht, den Einfluss der Remote-Arbeitsquote auf das Gehalt zu analysieren oder einen Fangplan für Coldplay-Fans zu erstellen und entsprechende Planungen zu treffen, Kimi K2 meistert jede Situation und zeigt seine starke Agentenkapazität.
Zudem hat Kimi K2 auch bei stilvollen Schreibarbeiten deutliche Fortschritte gemacht. Egal ob es darum geht, wissenschaftliche Texte in einen Ton für Grundschüler umzuwandeln oder Werbetexte im Stil von Apple nachzuahmen, Kimi K2 kann die Ausgabestil präzise kontrollieren, während es die ursprüngliche Bedeutung und Ausdrucksweise beibehält. Bei fiktiven Schreibaufgaben generiert Kimi K2 Texte, die stärker auf Details und Emotionen achten und nicht mehr abstrakt und allgemein sind, was den Nutzern eine reichhaltigere kreative Erfahrung bietet.
Bei dieser Gelegenheit hat Moonshot AI nicht nur das Kimi K2-Modell veröffentlicht, sondern auch gleichzeitig zwei Modelle – Kimi-K2-Base und Kimi-K2-Instruct – als Open Source bereitgestellt. Dabei handelt es sich bei Kimi-K2-Base um ein grundlegendes Vortrainierungsmodell, das nicht instruktionsgefeilt wurde und für Forschung und benutzerdefinierte Szenarien geeignet ist; Kimi-K2-Instruct ist eine Allzweck-Instruktionsgefeilte Version, die in den meisten Fragen- und Antwort- sowie Agentenaufgaben hervorragend abschneidet. Das Modell und die fp8-Gewichtsdateien wurden auf der Plattform HuggingFace öffentlich zugänglich gemacht und können von Entwicklern frei genutzt werden.
Um Entwicklern die Installation und Nutzung zu erleichtern, unterstützen auch die Inferenz-Engines vLLM, SGLang und ktransformers das Kimi K2-Modell. Entwickler können es auf ihren eigenen Servern installieren und dieselbe Erfahrung genießen wie über die API der Kimi-Plattform.