En el campo de la inteligencia artificial generativa, los esfuerzos de Apple parecen centrarse principalmente en dispositivos móviles, especialmente en el último sistema iOS 18. Sin embargo, el nuevo chip Apple M4, presente en los recién lanzados Mac Mini y Macbook Pro, demuestra un rendimiento excepcional, permitiendo la ejecución eficiente de los modelos lingüísticos grandes (LLM) de código abierto más potentes del momento, como Llama-3.1405B de Meta, Nemotron70B de Nvidia y Qwen2.5Coder-32B.
Exo Labs, una startup fundada en marzo de 2024, se dedica a "democratizar el acceso a la inteligencia artificial". Su cofundador, Alex Cheema, ha logrado construir con éxito un clúster de computación local utilizando varias máquinas con el chip M4.
Conectó cuatro Mac Mini M4 (cada uno a 599 dólares) con un Macbook Pro M4 Max (1599 dólares), ejecutando Qwen2.5Coder-32B de Alibaba mediante el software de código abierto de Exo. El costo total del clúster es de aproximadamente 5000 dólares, una opción extremadamente rentable en comparación con una GPU Nvidia H100, cuyo precio oscila entre 25000 y 30000 dólares.
Las ventajas de utilizar un clúster de computación local en lugar de servicios en la nube son evidentes. Ejecutar modelos de IA en dispositivos controlados por el usuario o la empresa reduce los costos y mejora la privacidad y la seguridad. Cheema afirma que Exo Labs está mejorando continuamente su software empresarial, y varias compañías ya lo utilizan para la inferencia de IA local. Esta tendencia se extenderá gradualmente a individuos y empresas en el futuro.
El reciente éxito de Exo Labs se debe al potente rendimiento del chip M4, considerado "el núcleo de GPU más rápido del mundo".
Cheema revela que el clúster Mac Mini M4 de Exo Labs puede ejecutar Qwen2.5Coder-32B a una velocidad de 18 tokens por segundo y Nemotron-70B a 8 tokens por segundo. Esto demuestra que los usuarios pueden procesar eficientemente tareas de entrenamiento e inferencia de IA sin depender de la infraestructura en la nube, haciendo la IA más accesible para consumidores y empresas preocupadas por la privacidad y los costos.
Para apoyar aún más esta ola de innovación en IA local, Exo Labs planea lanzar un sitio web gratuito de pruebas comparativas que ofrecerá comparaciones detalladas de configuraciones de hardware, ayudando a los usuarios a elegir la mejor solución para ejecutar LLM según sus necesidades y presupuesto.
Enlace al proyecto: https://github.com/exo-explore/exo
Puntos clave:
🌟 Exo Labs utiliza el chip Apple M4 para ejecutar con éxito potentes modelos de IA de código abierto en un clúster de computación local.
💰 Ejecutar modelos de IA localmente reduce costos, mejora la privacidad y la seguridad, y evita la dependencia de los servicios en la nube.
📊 Exo Labs lanzará un sitio web de pruebas comparativas para ayudar a los usuarios a seleccionar la configuración de hardware adecuada para sus tareas de IA.
