Die Firma Red Hat hat kürzlich offiziell ihren neuen Red Hat AI Inference Server (AI-Inferenz-Server) vorgestellt. Dieser Server ist darauf ausgelegt, effizientere und wirtschaftlichere AI-Inferenzdienste für hybride Cloud-Umgebungen bereitzustellen. Durch den Einsatz fortschrittlicher vLLM-Technologie und in Kombination mit der Innovationsfähigkeit von Neural Magic möchte Red Hat Benutzern schnellere Antwortzeiten und überlegene Leistungsmerkmale bieten.
Der Red Hat AI Inference Server ist eine offen zugängliche Inferenzlösung, die speziell für hohe Performance entwickelt wurde und eine Reihe fortschrittlicher Werkzeuge zur Modellkomprimierung und -optimierung bietet. Die Idee dahinter besteht darin, die innovativen Errungenschaften von vLLM mit den Unternehmensfähigkeiten von Red Hat zu verbinden, um Benutzern flexible Bereitstellungsoptionen zu ermöglichen. Nutzer können ihn entweder als unabhängiges containerisiertes Produkt nutzen oder ihn mit Red Hat Enterprise Linux (RHEL AI) und Red Hat OpenShift AI integrieren.
In verschiedenen Bereitstellungsumgebungen kann der Red Hat AI Inference Server Benutzern eine verstärkte vLLM-Version bereitstellen. Zu seinen Hauptfunktionen gehören intelligente LLM-Komprimierungs-Werkzeuge, die die Größe von Grundlagen- und fine-tuned AI-Modellen erheblich reduzieren, während gleichzeitig die Modellgenauigkeit beibehalten und die Rechenressourcenverbrauch minimiert werden. Außerdem bietet Red Hat einen optimierten Modellrepository, das im Hugging Face-Organisation von Red Hat gespeichert ist, wo Benutzer sofort auf validierte AI-Modelle zugreifen können. Diese optimierten Modelle verbessern die Effizienz bei der Inferenzbereitstellung und steigern die Leistung um bis zu 2 bis 4-mal, ohne dabei die Genauigkeit des Modells zu beeinträchtigen.
Red Hat bietet Benutzern starkes unternehmensweites Support-Potential, das auf jahrelanger Erfahrung der Firma beruht, bei der Community-Projekte in Produktionsumgebungen zu implementieren. Gleichzeitig unterstützt der Red Hat AI Inference Server flexible Bereitstellungsoptionen auf nicht-RHEL-Linux-Systemen und Kubernetes-Plattformen, um Benutzern größeren Spielraum bei der Wahl ihrer Umgebung zu bieten.
Joe Fernandes, Vizepräsident des Red Hat AI-Geschäftsabteilungen, sagte: „Inferenz ist der Kernwert der generativen KI, da sie es ermöglicht, dass Modelle genaue Antworten innerhalb kurzer Zeit bei der Interaktion mit Benutzern liefern. Unser Ziel ist es, massive Inferenzanforderungen effizient und kostengünstig zu erfüllen.“ Die Einführung des Red Hat AI Inference Servers stellt Benutzern eine universelle Inferenzschicht zur Verfügung, die verschiedene Modelle in verschiedenen Umgebungen beschleunigt.
Hier sind die Schwerpunkte:
🚀 Der Red Hat AI Inference Server kombiniert vLLM- und Neural Magic-Technologie, um effiziente Inferenzdienste für hybride Cloud-Umgebungen bereitzustellen.
📉 Verfügt über intelligente LLM-Komprimierungswerkzeuge und ein optimiertes Modellrepository, um die Effizienz bei der Inferenz um 2 bis 4-mal zu steigern.
🛠️ Bietet unternehmensweite Unterstützung und flexible Bereitstellungsoptionen für verschiedene Betriebssysteme und Plattformen.