Popular GitHub Repositories for Lmdeploy

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

Streamer-Sales 销冠 —— 卖货主播 LLM 大模型??，一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。??内含详细的数据生成流程? ?另外还集成了 LMDeploy 加速推理?、RAG检索增强生成 ?、TTS文字转语音?、数字人生成 ?、 Agent 使用网络查询实时信息?、ASR 语音转文字??、Vue 生态搭建前端?、FastAPI 搭建后端??、Docker-compose 打包部署?

Autoscale LLM (vLLM, SGLang, LMDeploy) inferences on Kubernetes (and others)

Examples of serving LLM on Modal.