この度、魔搭コミュニティはvLLMおよびFastChatと連携し、中国の開発者向けに、より高速で効率的なLLM推論と展開サービスを提供することになりました。
開発者は、FastChatの推論エンジンとしてvLLMを使用することで、高スループットのモデル推論を実現できます。FastChatは、LLMベースのチャットボットのトレーニング、サービス提供、評価を行うためのオープンなプラットフォームです。vLLMは、カリフォルニア大学バークレー校、スタンフォード大学、カリフォルニア大学サンディエゴ校の研究者によって開発されたLLMサービスシステムです。
FastChatとvLLMを使用することで、開発者は魔搭のモデルを迅速にロードして推論を実行できます。