Pekín lanza el marco de entrenamiento LLaMA-Rider para mejorar el aprendizaje autónomo de los grandes modelos de lenguaje

Preentrenamiento no equivale a más potente: la investigación revela el fenómeno del sobreentrenamiento catastrófico en los grandes modelos de lenguaje

MIT presenta un nuevo método inspirado en grandes modelos de lenguaje para enseñar nuevas habilidades a los robots

Esta semana, el MIT presentó un nuevo modelo para entrenar robots, diseñado para abordar los fallos del aprendizaje por imitación cuando se introducen pequeños desafíos. Los investigadores señalan que el aprendizaje por imitación puede fallar en situaciones como cambios de iluminación, entornos diferentes u obstáculos nuevos, ya que el robot simplemente no tiene suficientes datos para adaptarse. El equipo buscó en modelos como GPT-4 un método de datos robusto para resolver el problema. Introdujeron una nueva arquitectura llamada Transformador preentrenado heterogéneo (HPT), que recopila información de diferentes sensores y entornos.

Seis ideas sobre los grandes modelos de lenguaje: Jason Wei comparte su intuición

Jason Wei, el creador de la cadena de pensamiento, lideró junto con YiTay y Jeff Dean el trabajo inicial en grandes modelos, y ahora participa en el desarrollo de ChatGPT. Los grandes modelos de lenguaje aprenden habilidades multitarea a través de la predicción de la siguiente palabra, incluyendo la sintaxis, la semántica y la predicción de puntuación. El aprendizaje en contexto es una forma de aprendizaje automático; proporcionar más ejemplos al modelo ayuda a mejorar el rendimiento de la tarea. Los modelos de lenguaje perciben la densidad de información de diferentes tokens; mediante la indicación de la cadena de pensamiento

LeCun cuestiona la capacidad de razonamiento de los grandes modelos de lenguaje, enfatizando el aprendizaje en contexto

LeCun ha generado un debate en Twitter sobre la capacidad de razonamiento de los grandes modelos de lenguaje, argumentando que su capacidad emergente es principalmente el resultado del aprendizaje en contexto. Los experimentos de investigación demuestran que los grandes modelos de lenguaje tienen un rendimiento deficiente en tareas de planificación complejas, y su capacidad de razonamiento está limitada a dominios específicos. El artículo señala problemas en la investigación de tareas de planificación para grandes modelos de lenguaje, incluyendo la confusión entre el conocimiento del plan y la ejecución del plan. Mejorar la capacidad de planificación de los grandes modelos de lenguaje sigue siendo difícil, y puede que solo se traduzcan las tareas de planificación en una recuperación basada en la memoria. El debate ayuda a comprender los grandes modelos de lenguaje en el razonamiento y la planificación.

Evaluación de riesgos potenciales en los grandes modelos de lenguaje: la contaminación del conjunto de prueba en el preentrenamiento degrada el rendimiento del modelo

Una nueva investigación advierte sobre los riesgos potenciales en la evaluación de referencia de los grandes modelos de lenguaje, ya que los datos del conjunto de prueba podrían estar contaminando el proceso de preentrenamiento. Los datos de preentrenamiento se basan en textos públicos disponibles, y los conjuntos de evaluación de referencia a menudo se construyen sobre estos mismos datos, lo que podría llevar a un rendimiento deficiente en aplicaciones reales. El estudio recomienda el uso de múltiples conjuntos de evaluación de referencia y la transparencia sobre el origen de los datos de prueba para evitar la superposición de datos en la evaluación de los modelos. Se observó en simulaciones que el modelo funcionaba mejor cuando se preentrenaba con datos del conjunto de evaluación de referencia, pero su rendimiento empeoraba en otros conjuntos de evaluación. Esto destaca la importancia de evaluar exhaustivamente los grandes modelos de lenguaje.

Los grandes modelos de lenguaje entran en una nueva fase de 'reducción de costos'

La idea de que se necesita una gran cantidad de datos, una gran cantidad de parámetros y una gran potencia informática para que surjan ciertas capacidades de los grandes modelos de lenguaje está muy extendida en el mundo de la tecnología. La competencia en cuanto al tamaño del modelo, tanto comercial como medioambientalmente, no es sostenible. La era de perseguir el tamaño a toda costa ha terminado. Las dos vías de implementación de los grandes modelos de lenguaje, aunque divergentes, se enfrentan a situaciones similares. La dirección B2B, a la que se le atribuyen grandes esperanzas de comercialización, presenta una mayor certidumbre, pero por ahora parece que no logra superar la barrera de los costos. El alto coste de mano de obra y capital asociado a los proyectos personalizados dificulta la expansión del negocio y ralentiza su crecimiento. Para un futuro sostenible...

Estudio MIT-Stanford: Los grandes modelos de lenguaje hacen preguntas proactivamente, IA con indicaciones inversas para humanos

Un equipo de investigación del MIT y Stanford ha propuesto un nuevo marco de aprendizaje automático que permite a los grandes modelos de lenguaje (LLM) hacer preguntas proactivamente a los humanos. Este método, llamado GATE, supera a los métodos tradicionales de ingeniería de prompts y aprendizaje supervisado. Esta investigación ha generado un debate sobre la ingeniería de prompts, con algunos argumentando que no desaparecerá, sino que cambiará de forma.

3 centavos por unidad: los que alimentan a los grandes modelos de lenguaje

Los etiquetadores de datos ganan solo unas decenas de euros al día, con un pago por unidad de apenas unos pocos centavos, encargándose del etiquetado de los datos de entrenamiento de la IA. La competencia en el sector del etiquetado de datos es feroz, los pedidos son inestables y las empresas cierran con frecuencia. En la era de los grandes modelos de lenguaje, los requisitos del trabajo de etiquetado de datos están aumentando y el etiquetado automatizado está reemplazando gradualmente al trabajo manual. Los etiquetadores de datos se enfrentan al riesgo de desempleo y necesitan realizar una transición anticipada. Los proveedores de servicios de datos están utilizando la innovación tecnológica para aumentar el grado de automatización y obtener una ventaja competitiva.