Liquid AI hat kürzlich vor der International Conference on Learning Representations (ICLR) 2025 sein neues Modell „Hyena Edge“ vorgestellt. Dies ist ein konvolutionäres Multi-Hybrid-Modell, das effizientere KI-Lösungen für Smartphones und andere Edge-Geräte bereitstellen soll. Das in Boston ansässige Unternehmen, hervorgegangen aus dem Massachusetts Institute of Technology (MIT), konzentriert sich darauf, die Transformer-Architektur zu übertreffen, auf der die meisten aktuellen großen Sprachmodelle (LLMs) basieren.
Hyena Edge zeichnet sich sowohl durch seine Rechenleistung als auch durch die Qualität seines Sprachmodells aus. Tests auf einem Samsung Galaxy S24 Ultra zeigten geringere Latenzzeiten, geringeren Speicherverbrauch und eine bessere Leistung in verschiedenen Benchmarks im Vergleich zum Transformer++-Modell mit vergleichbaren Parametern. Diese neue Architektur markiert einen neuen Meilenstein in der Edge-KI-Technologie.
Im Gegensatz zu den meisten kleinen Modellen, die für den mobilen Einsatz entwickelt wurden, verzichtet Hyena Edge auf das herkömmliche, rechenintensive Aufmerksamkeitsdesign. Stattdessen nutzt es die getakteten Faltungen der Hyena-Y-Serie, wodurch zwei Drittel der gruppierten Query-Attention (GQA)-Operationen ersetzt werden. Die Architektur von Hyena Edge basiert auf dem „Custom Architecture Synthesis“ (STAR)-Framework von Liquid AI, das mithilfe von Evolutionsalgorithmen die Modellstruktur automatisch optimiert, um mehrere hardwarespezifische Ziele wie Latenz, Speicherverbrauch und Modellqualität zu verbessern.
Um die praktische Anwendbarkeit von Hyena Edge zu überprüfen, führte Liquid AI Tests auf einem Samsung Galaxy S24 Ultra durch. Die Ergebnisse zeigten, dass das Modell bei längeren Sequenzen eine um 30 % schnellere Vorabfüllung und Dekodierung aufweist als Transformer++. Gleichzeitig war der Speicherverbrauch von Hyena Edge bei allen getesteten Sequenzlängen geringer als bei herkömmlichen Modellen, was es zur idealen Wahl für ressourcenbeschränkte Umgebungen macht.
In Benchmark-Tests wurde Hyena Edge mit 100 Milliarden Token trainiert und zeigte hervorragende Ergebnisse in verschiedenen Standard-Tests für kleine Sprachmodelle, darunter Wikitext, Lambada, PiQA, HellaSwag, Winogrande, ARC-easy und ARC-challenge. Besonders hervorzuheben sind die Verbesserungen beim Perplexity-Score bei Wikitext und Lambada sowie die gesteigerte Genauigkeit bei PiQA, HellaSwag und Winogrande.
Liquid AI plant außerdem, in den kommenden Monaten eine Reihe von Liquid-Basismodellen, darunter Hyena Edge, Open Source bereitzustellen. Ziel ist es, ein effizientes, universelles KI-System zu schaffen, das sich von Cloud-Rechenzentren bis hin zu persönlichen Edge-Geräten skalieren lässt. Der Erfolg von Hyena Edge liegt nicht nur in seinen hervorragenden Leistungsmerkmalen, sondern zeigt auch das Potenzial automatisierter Architekturdesigns und setzt neue Maßstäbe für die zukünftige, edge-optimierte KI.
Offizieller Blog: https://www.liquid.ai/research/convolutional-multi-hybrids-for-edge-devices
Highlights:
🌟 Hyena Edge ist ein neues konvolutionäres Modell von Liquid AI, speziell für Edge-Geräte wie Smartphones entwickelt.
🚀 Das Modell übertrifft traditionelle Transformer++-Modelle in Bezug auf Rechenleistung und Speicherverbrauch und eignet sich daher ideal für ressourcenbeschränkte Umgebungen.
📈 Hyena Edge erzielt hervorragende Ergebnisse in verschiedenen Standard-Benchmarks für Sprachmodelle und soll in Zukunft Open Source bereitgestellt werden, um die Verbreitung der Technologie zu fördern.
