Récemment, la communauté ModelScope a collaboré avec vLLM et FastChat pour fournir aux développeurs chinois des services d'inférence et de déploiement de LLM plus rapides et plus efficaces. Les développeurs peuvent utiliser vLLM comme moteur d'inférence dans FastChat, offrant ainsi une inférence de modèles à haut débit. FastChat est une plateforme ouverte pour l'entraînement, le service et l'évaluation de ChatBots basés sur les LLM. vLLM est un système de service LLM développé par des chercheurs de l'Université de Californie à Berkeley, de l'Université de Stanford et de l'Université de Californie à San Diego. Grâce à FastChat et vLLM, les développeurs peuvent rapidement charger et utiliser les modèles ModelScope pour l'inférence.