Die weltweit führende Anbieterin offener Quellcodes, Red Hat, hat kürzlich den revolutionären Open-Source-Projekt llm-d gestartet, um dringende Nachfrage nach der massenskalierbaren Inferenz in generativen KI zu befriedigen. Das Projekt vereint Industrie-Giganten wie CoreWeave, Google Cloud, IBM Research und NVIDIA als Stiftungsmitwirkende und zielt darauf ab, durch bahnbrechende Technologien die Leistungsfähigkeit von Sprachmodellen im Cloud-Umfeld für die strengsten Produktionsservice-Ziele zu erreichen.
Inferenz-Zeitpunkt naht, Herausforderungen nehmen zu
Laut neuesten Prognosen von Gartner wird "bis 2028 achtzig Prozent aller Beschleuniger-Arbeitslasten in Datenzentren speziell für Inferenz und nicht für Schulung verwendet werden." Diese Tendenz unterstreicht die strategische Bedeutung der Inferenztechnologie.
Dennoch steigt mit der Komplexität und dem Umfang der Inferenzmodelle auch die Ressourcenanforderung stark an, was die Machbarkeit zentraler Inferenz-Lösungen begrenzt. Zu hohe Kosten und längere Latenzen könnten dabei potenzielle Schlüsselhemmnisse für die KI-Innovation darstellen und erfordern dringend neue technologische Lösungen.
llm-d: Innovation auf dem Weg zur einheitlichen Plattform
Red Hat und ihre Partner greifen mit dem llm-d-Projekt diese Herausforderungen direkt an und integrieren fortschrittliche Inferenzfähigkeiten in bestehende Unternehmens-IT-Infrastrukturen. Die einheitliche Plattform ermöglicht IT-Teams, gleichzeitig verschiedene Dienstleistungsanforderungen für kritische Geschäftsaufgaben zu erfüllen, innovative Technologien einzusetzen und die Gesamtkosten der Nutzung hochleistungsfähiger KI-Acceleratoren erheblich zu senken.
Der Kernwert dieser Lösung besteht darin, traditionelle Inferenz-Bereitstellungen zu überwinden und Unternehmen flexiblere, effizientere und kostengünstigere KI-Inferenz-Optionen anzubieten.
Starker Industrieallianz-Unterstützung
Das llm-d-Projekt genießt die Unterstützung einer starken Allianz aus Anbietern von generativen KI-Modellen, Pionieren der KI-Acceleration und führenden AI-Cloud-Plattformen. Neben den vier Stiftungsmitwirkenden haben wichtige Unternehmen wie AMD, Cisco, Hugging Face, Intel, Lambda und Mistral AI ebenfalls als Partner dem Projekt beigetreten und zeigen den Wunsch nach tiefer Zusammenarbeit bei der Gestaltung der Zukunft großer LLM-Dienste.
Industrielle Führungsfiguren sprechen sich aus
„Während Unternehmen KI in Massen skalieren und Wertschöpfung für Nutzer schaffen, ist effiziente KI-Inferenz entscheidend“, betonte Mark Lohmeyer, Vizepräsident und Generaldirektor für KI und Recheninfrastruktur bei Google Cloud. „Im Zuge unseres Übergangs in die Ära der Inferenz ist es uns eine Ehre, als Stiftungsmitwirkender des llm-d-Projekts zu fungieren und auf unserer Open-Source-Beitragsbasis weiter voranzutreiben.“
„Das llm-d-Projekt ergänzt die Open-Source-KI-Okosysteme wesentlich und spiegelt NVIDIAs Engagement wider, Kollaborationen für die Generierung von KI-Innovationen voranzutreiben“, sagte Ujval Kapasi, Vizepräsident für Ingenieurwesen von AI Frameworks bei NVIDIA. „Skalierbare, leistungsstarke Inferenz ist entscheidend für die nächste Welle generativer KI und agentenbasierter KI. Wir arbeiten mit Red Hat und anderen Unterstützern zusammen, um Innovationen wie NIXL von NVIDIA zu nutzen und die Entwicklung von llm-d zu beschleunigen.“
Open Source treibt industriellen Wandel voran
Die Einführung des llm-d-Projekts markiert einen neuen Entwicklungsabschnitt im Bereich der KI-Inferenz. Durch das Open-Source-Modell wird Branchenintelligenz gesammelt, wodurch dieses Projekt nicht nur die gegenwärtigen Kosten- und Leistungsprobleme der großen Inferenz-Lösungen lösen könnte, sondern auch die nachhaltige Entwicklung des gesamten KI-Ekosystems festigen wird.
Mit zunehmender Beteiligung von Unternehmen und Entwicklern hat llm-d das Potenzial, eine wichtige Kraft zur Normierung und Popularisierung der KI-Inferenztechnologie zu werden und somit auf den kommenden Inferenz-Zeitpunkt optimal vorbereitet zu sein.