Un equipo de investigación de la Universidad Tecnológica de Singapur ha desarrollado un modelo de IA de 550 MB llamado TinyLlama. Se planea entrenar este modelo con un conjunto de datos de 3 billones de tokens en 90 días, para que sea adecuado para dispositivos de borde con memoria limitada.
El equipo utilizó 16 GPU A100-40G y planea completar el entrenamiento en 90 días. El éxito de TinyLlama proporcionará soluciones de IA de alto rendimiento para diversas aplicaciones, como la traducción automática en tiempo real.
Este modelo se convertirá en parte de una familia de modelos de lenguaje más pequeños, utilizados para construir una variedad de aplicaciones.
