In letzter Zeit wurde MLX-LM direkt in die Hugging Face Plattform integriert. Diese bahnbrechende Aktualisierung bietet Nutzern von Apple Silicon-Geräten (einschließlich M1, M2, M3 und M4-Chips) eine bislang unbekannte Bequemlichkeit, indem sie ermöglicht, über 4400 große Sprachmodelle (LLM) lokal mit maximaler Geschwindigkeit auszuführen, ohne auf Cloud-Dienste oder das Warten auf Modellkonvertierungen angewiesen zu sein.
Diese Integration fördert weiter die Popularität der lokalisierten AI-Entwicklung und bietet Entwicklern und Forschern effizientere und flexiblere Werkzeuge.
MLX-LM ist ein Untermodul des MLX-Frameworks, das vom Apple Machine Learning Research Team entwickelt wurde und speziell für Apple Silicon optimiert ist, um die Leistung des Neuralen Engines (ANE) und der Metal-GPUs voll auszuschöpfen.
MLX-LM, als Teil dieses Frameworks, konzentriert sich auf das Training und die Inferenz großer Sprachmodelle und hat in den letzten Jahren aufgrund seiner Effizienz und Benutzerfreundlichkeit großes Aufsehen erregt. Durch die Integration mit Hugging Face kann MLX-LM jetzt direkt Modelle von der Hugging Face Hub laden, ohne zusätzliche Konvertierungsprozeduren, was den Arbeitsablauf stark vereinfacht.
