【AIbase-Meldung】IBM kündigte eine strategische Zusammenarbeit mit der Chip-Start-up-Gesellschaft Groq an, bei der die leistungsstarke Inferenztechnologie von Groq in die Watsonx-Plattform integriert wird. Dies soll Unternehmen schnellere und kosteneffizientere künstliche Intelligenzlösungen bieten. Diese Zusammenarbeit markiert einen wichtigen Schritt für IBM im Bereich der Enterprise-AI-Beschleunigung.
Mit dieser Zusammenarbeit können IBM-Nutzer direkt über Watsonx Orchestrate auf die GroqCloud-Dienste zugreifen. Groq ist bekannt für seine eigene Sprachverarbeitungseinheit (LPU)-Architektur und behauptet, dass sie bei bestimmten AI-Inferenzaufgaben mehr als fünfmal schneller als traditionelle GPU-Systeme ist, gleichzeitig jedoch den Energieverbrauch und die Kosten erheblich reduziert.
IBM gibt an, dass die technologische Integration zunächst in den Bereichen Gesundheitswesen und Einzelhandel angewendet werden wird. Zum Beispiel kann das System in der medizinischen Branche gleichzeitig effizient tausende Patientenabfragen verarbeiten; in der Einzelhandelsbranche kann es für intelligente Automatisierung im Personal- und Lieferkettenmanagement verwendet werden. Darüber hinaus planen IBM und Groq, die Open-Source-Technologie vLLM von Red Hat mit der LPU-Hardware von Groq zu kombinieren, um die Flexibilität bei der Modellbereitstellung zu verbessern und sicherzustellen, dass GroqCloud IBM-spezifische Granite-Modelle unterstützt. Derzeit können IBM-Kunden bereits die Kernfunktionen von GroqCloud direkt nutzen.
