Kürzlich hat Nvidia offiziell ein neues kleines Sprachmodell namens Nemotron-Nano-9B-v2 veröffentlicht, was die Welle der kleinen Modelle erneut befeuert.
Dieses Modell verfügt über 9 Milliarden Parameter. Obwohl es größer ist als andere kleine Modelle mit Millionen von Parametern, ist es im Vergleich zu den ursprünglichen 12 Milliarden Parametern deutlich reduziert und soll effizient auf einer einzigen Nvidia A10-GPU laufen. Oleksii Kuchiaev, Leiter der Nachtrainierung von AI-Modellen bei Nvidia, betonte auf sozialen Plattformen, dass das Ziel darin besteht, besser auf Deployment-Anforderungen abgestimmt zu sein. Darüber hinaus verwendet das Modell eine gemischte Architektur, wodurch es bei der Verarbeitung größerer Batch-Größen sechs Mal schneller ist als vergleichbare Transformer-Modelle.
Nemotron-Nano-9B-v2 unterstützt verschiedene Sprachen wie Englisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch usw. und eignet sich für Aufgaben wie Anweisungsfolge und Code-Generierung. Das Modell beinhaltet auch eine innovative Funktion: Benutzer können durch einfache Steuerungstoken den „Reasoning“-Prozess des AI wechseln, also eine Selbstprüfung vor dem Generieren einer Antwort. Das System generiert standardmäßig einen Reasoning-Verlauf, doch Benutzer können diesen Prozess über Befehle wie /think oder /no_think kontrollieren. Darüber hinaus wurde ein „Reasoning-Budget“-Management-Mechanismus eingeführt, der Entwicklern ermöglicht, die Anzahl der verwendeten Tokens während des Reasoning-Prozesses festzulegen, um ein Gleichgewicht zwischen Genauigkeit und Reaktionsgeschwindigkeit zu erreichen.
Laut Testergebnissen zeigt Nemotron-Nano-9B-v2 hervorragende Leistungen in verschiedenen Benchmark-Tests. Unter dem „Reasoning-Modus“ erzielte das Modell zufriedenstellende Ergebnisse in Tests wie AIME25, MATH500, GPQA und LiveCodeBench. Darüber hinaus zeigte es ebenfalls gute Leistungen bei Anweisungsfolge- und Lang-Kontext-Benchmark-Tests und demonstrierte eine höhere Genauigkeit im Vergleich zu anderen offenen kleinen Modellen.
Nvidia hat eine Open-Source-Lizenz für dieses Modell festgelegt, die Entwicklern erlaubt, das Modell kommerziell frei zu nutzen und weiterzuverbreiten, und klargestellt, dass sie keine Ansprüche an die erzeugten Ausgaben erheben. Dies bedeutet, dass Unternehmen das Modell ohne zusätzliche Verhandlungen direkt in die Produktion einsetzen können, ohne sich um Nutzungshürden oder Kosten sorgen zu müssen.
Das Modell Nemotron-Nano-9B-v2 von Nvidia bietet Entwicklern neue Werkzeuge, um bei kleineren Skalen Inferenzfähigkeit und effiziente Bereitstellung zu realisieren. Seine Funktionalitäten zur Kontrolle des Betriebsbudgets und zum Wechsel des Inferenzmodus bieten Systementwicklern Flexibilität und sollen die Genauigkeit und Reaktionsgeschwindigkeit verbessern, um die Entwicklung kleiner Sprachmodelle weiter voranzutreiben.
Zusammenfassung:
🌟 Nemotron-Nano-9B-v2 ist ein neues kleines Sprachmodell von Nvidia mit 9 Milliarden Parametern, speziell für eine effiziente Bereitstellung konzipiert.
🧠 Das Modell unterstützt mehrere Sprachen und verfügt über eine Funktion zum Wechsel des Inferenzmodus, die Benutzern hilft, die Antwortweise entsprechend ihren Bedürfnissen anzupassen.
📈 Die offene Lizenzvereinbarung ermöglicht Entwicklern, das Modell frei zu nutzen und weiterzuverbreiten, ohne sich um zusätzliche Kosten oder Lizenzvereinbarungen kümmern zu müssen.
