Kürzlich kündigten AMD und Qualcomm gemeinsam an, dass ihre Hardware offiziell die OpenAI-Entwicklung gpt-oss-Serie von OpenAI unterstützt. Dies markiert einen wichtigen Schritt in der Verbindung von Edge Computing und KI. Die neu veröffentlichte gpt-oss-Serie von OpenAI umfasst zwei Modelle: das mit weniger Parametern ausgestattete gpt-oss-20b und das komplexere gpt-oss-120b. Das erste kann auf Geräten mit 16 GB RAM reibungslos laufen, während das zweite effizient auf einer einzelnen Grafikkarte mit 80 GB Speicher ausgeführt werden kann.
AMD kündigt stolz an, dass der Ryzen AI Max+395-Prozessor der weltweit erste konsumorientierte AI-PC-Prozessor ist, der das gpt-oss-120b-Modell laufen lassen kann. Um dieses leistungsstarke Modell zu unterstützen, verwendete AMD den GGML-Framework und das MXFP4-Format, sodass das gpt-oss-120b bei Nutzung von etwa 61 GB Grafikspeicher reibungslos läuft. Darüber hinaus ermöglicht die „Strix Halo“-Plattform mit 128 GB Unified Memory, 96 GB für die GPU bereitzuhalten, um die Anforderungen zu erfüllen.
In Bezug auf die Leistung kann der Ryzen AI Max+395 bei der Ausführung des gpt-oss-120b eine Ausgabegeschwindigkeit von 30 Token pro Sekunde erreichen und unterstützt das MCP-Modell-Kontextprotokoll. Dies bedeutet, dass Benutzer bei der Bearbeitung komplexer Aufgaben schnelleren Reaktionszeiten und höherer Effizienz genießen können.
Qualcomm gab bekannt, dass das gpt-oss-20b-Modell auf seinen Snapdragon-Plattformen bei frühen Tests hervorragende Fähigkeiten zur logischen Schlussfolgerung zeigte. Entwickler können dieses Modell über bekannte Plattformen wie Hugging Face und Ollama auf Geräten mit Snapdragon-Chips leicht zugänglich machen und somit seine leistungsstarken Funktionen optimal nutzen.
Diese Zusammenarbeit zeigt nicht nur die weitsichtige Vision von AMD und Qualcomm im Bereich KI, sondern ebnet auch den Weg für die Zukunft von Edge Computing und Künstlicher Intelligenz. Mit der zunehmenden Verbreitung der gpt-oss-Modelle können wir auf intelligentere Geräte und flexiblere Szenarien für KI-Anwendungen warten.
