Recientemente, la comunidad ModelScope se ha asociado con vLLM y FastChat para ofrecer a los desarrolladores chinos servicios de inferencia y despliegue de LLM más rápidos y eficientes. Los desarrolladores pueden usar vLLM como motor de inferencia en FastChat, proporcionando una inferencia de modelos de alto rendimiento. FastChat es una plataforma abierta para entrenar, servir y evaluar ChatBots basados en LLM. vLLM es un sistema de servicio LLM desarrollado por investigadores de la Universidad de California, Berkeley, la Universidad de Stanford y la Universidad de California, San Diego. A través de FastChat y vLLM, los desarrolladores pueden cargar rápidamente los modelos de ModelScope para realizar inferencias.