Kürzlich haben sich die MoDa-Community, vLLM und FastChat zusammengeschlossen, um chinesischen Entwicklern schnellere und effizientere LLM-Inferenz- und Bereitstellungsdienste anzubieten. Entwickler können vLLM als Inferenz-Engine in FastChat verwenden, um eine hohe Durchsatzleistung bei der Modellinferenz zu erzielen. FastChat ist eine offene Plattform zum Trainieren, Bereitstellen und Bewerten von Chatbots auf Basis von LLMs. vLLM ist ein von Forschern der University of California, Berkeley, der Stanford University und der University of California, San Diego entwickeltes LLM-Servicessystem. Mit FastChat und vLLM können Entwickler die Modelle von MoDa schnell zum Inferenzieren laden.