Hace poco, el equipo de investigación de inteligencia artificial de Meta lanzó un modelo de lenguaje grande llamado Code World Model (CWM, por sus siglas en inglés).
El lanzamiento de este nuevo modelo marca un avance significativo en la tecnología de generación de código. No solo aprende cómo se ve el código, sino que también se enfoca en su funcionalidad real cuando se ejecuta. Al entrenar con datos de interacción de gran cantidad de código con su entorno de ejecución, CWM construye un "modelo del mundo" interno que ayuda al modelo a comprender cómo funcionan los sistemas computacionales.
Los modelos tradicionales de generación de código suelen aprender prediciendo la siguiente instrucción en un programa, lo cual resulta insuficiente cuando se enfrentan a la complejidad de la programación. El equipo de investigación de Meta cree que para dominar realmente la programación, los modelos deben entender los efectos reales del código una vez ejecutado. Esta capacidad de comprensión es crucial para los ingenieros de software, ya que al escribir código no solo se enfocan en la sintaxis, sino también en las relaciones entre componentes como variables, objetos y funciones.
El proceso de entrenamiento de CWM utiliza un método innovador, enseñando comportamientos de código desde la etapa de "entrenamiento intermedio", en lugar de esperar hasta la etapa de ajuste fino final. Este proceso utiliza principalmente dos tipos de datos clave: registros de trayectorias de ejecución de código Python y datos de interacción de agentes en un entorno Docker. Con estos datos, CWM puede comprender mejor el impacto de las instrucciones de código en el comportamiento general del programa.
En aplicaciones prácticas, CWM ha demostrado un rendimiento excelente. En varios benchmarks industriales, su desempeño superó a otros modelos similares. Por ejemplo, en el benchmark SWE-bench Verified, la tasa de aprobación de CWM alcanzó el 65,8%, y en pruebas como LiveCodeBench y razonamiento matemático también obtuvo resultados excelentes. Aunque el desempeño de CWM es alentador, los investigadores advirtieron que CWM aún se encuentra en fase de investigación, sin optimizaciones a gran escala, y no está destinado actualmente para funciones de asistente de conversación general.
El equipo de Meta mantiene una actitud optimista sobre el futuro. Consideran que hay un gran potencial para mejorar el rendimiento de los modelos en diversas tareas mediante el conocimiento de los modelos del mundo. Los avances de esta investigación indican que tener un modelo del mundo poderoso hará que los sistemas de inteligencia artificial sean más confiables y eficientes en entornos reales en constante cambio.
Entrada: https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/
Destacados:
🌐 El modelo CWM no solo se enfoca en cómo se ve el código, sino que también valora su funcionalidad real después de ser ejecutado, ayudando al modelo a comprender la dinámica del entorno computacional.
🛠️ Este modelo enseña el comportamiento del código durante la etapa de entrenamiento intermedio, aprendiendo a partir de registros de trayectorias de ejecución de Python y datos de interacción en entornos Docker.
📊 CWM destaca en diversos benchmarks industriales, mostrando la importancia de los modelos del mundo para mejorar la fiabilidad de los sistemas de inteligencia artificial.
