El equipo de investigación de la Universidad Carnegie Mellon ha lanzado un innovador proyecto de inteligencia artificial llamado LegoGPT, un modelo que puede generar automáticamente diseños de bloques de Lego a partir de texto en lenguaje natural. El proyecto está disponible en GitHub de forma gratuita para que los usuarios puedan descargar el modelo y el conjunto de datos para probarlo y ampliarlo.
LegoGPT está impulsado por un modelo de lenguaje grande autoregresivo, entrenado con más de 47,000 bloques de Lego que componen más de 28,000 objetos 3D únicos. Los usuarios solo necesitan ingresar un texto como "una guitarra" y el modelo generará un diseño estructurado y fácilmente ensamblable de bloques de Lego.
Sus características principales incluyen un mecanismo de "verificación de validez" y "retroceso físico consciente", asegurando que el diseño generado no se superponga ni flote. Además, puede generar diagramas estructurados que las personas o robots puedan seguir según las instrucciones, junto con anotaciones en texto.
El equipo también creó un conjunto de datos llamado StableText2Lego, utilizando mallas de ShapeNetCore y disposiciones voxelares para generar formas iniciales, que luego fueron seleccionadas y optimizadas para formar muestras de entrenamiento finales. En el futuro, esta tecnología podría expandirse a un flujo completo de imagen a diseño de Lego, permitiendo a los usuarios obtener soluciones de ensamblaje creativas a través de la carga de fotos.