Hace poco, AMD y Qualcomm anunciaron conjuntamente que sus hardware están oficialmente compatibles con la serie de modelos de razonamiento abierto gpt-oss lanzada por OpenAI, lo que marca un importante paso adelante en la combinación de cálculo en el borde y la inteligencia artificial. La nueva serie gpt-oss lanzada por OpenAI incluye dos modelos: gpt-oss-20b, que tiene menos parámetros, y gpt-oss-120b, más complejo. El primero puede ejecutarse suavemente en dispositivos con 16 GB de memoria, mientras que el segundo puede ejecutarse eficientemente en una sola tarjeta gráfica de 80 GB.
AMD se siente orgulloso de anunciar que el procesador Ryzen AI Max+395 se ha convertido en el primer procesador de PC de consumo del mundo capaz de ejecutar el modelo gpt-oss-120b. Para adaptarse a este poderoso modelo, AMD utilizó el marco GGML y el formato MXFP4, lo que permite que gpt-oss-120b funcione sin problemas utilizando aproximadamente 61 GB de memoria de video. Además, la plataforma "Strix Halo" puede asignar 96 GB a la GPU mediante su memoria unificada de 128 GB, satisfaciendo así las necesidades de ejecución.
En cuanto al rendimiento, el Ryzen AI Max+395 puede lograr una velocidad de salida de 30 tokens por segundo al ejecutar el modelo gpt-oss-120b y también admite el protocolo de contexto de modelo MCP. Esto significa que los usuarios pueden disfrutar de una mayor velocidad de respuesta y eficiencia al manejar tareas complejas.
Por su parte, Qualcomm indicó que, tras pruebas iniciales, el modelo gpt-oss-20b mostró excelentes capacidades de razonamiento en cadena en su plataforma Snapdragon. Los desarrolladores pueden acceder fácilmente a este modelo en dispositivos equipados con chips Snapdragon a través de plataformas conocidas como Hugging Face y Ollama, aprovechando así plenamente sus potentes funciones.
Esta colaboración no solo demuestra la visión prospectiva de AMD y Qualcomm en el campo de la inteligencia artificial, sino que también abre el camino para el futuro del cálculo en el borde y la inteligencia artificial. Con la amplia aplicación de los modelos gpt-oss, podemos esperar dispositivos más inteligentes y escenarios de aplicaciones de IA más flexibles.