Investigadores del MIT, el MIT y la Universidad Carnegie Mellon han publicado recientemente un artículo que presenta StreamingLLM, una innovadora técnica para abordar el declive del rendimiento de los grandes modelos de lenguaje (LLM) en conversaciones prolongadas. Esta tecnología aprovecha el concepto de "sumideros de atención" ("attention sinks") para permitir que los LLM mantengan un alto rendimiento en textos de longitud ilimitada. Al reintroducir algunas de las marcas iniciales en etapas posteriores de la conversación, los usuarios pueden restaurar eficazmente el rendimiento del LLM.
Esta técnica ofrece una solución innovadora para mantener el alto rendimiento de los LLM en conversaciones prolongadas.
