vllm-ascend

快速上手Llama 3.3、DeepSeek-R1、Phi-4、Gemma 3以及其他大型语言模型。

让网站更容易被人工智能访问

多智能体框架：首家AI软件公司，迈向自然语言编程

统一高效微调100多个大型语言模型和视觉语言模型 (ACL 2024)

一步一步用PyTorch从零开始实现一个类似ChatGPT的大型语言模型。

LlamaIndex 是一个领先的框架，用于基于你的数据构建强大的、由大型语言模型 (LLM) 驱动的智能体。

降低大型AI模型的成本，提升其速度和易用性

OpenAI Whisper 模型的 C/C++ 端口

DeepSpeed是一个深度学习优化库，它使分布式训练和推理变得轻松、高效且有效。

将生成式AI轻松集成到您的应用中！专注于您的产品，而非RAG技术本身。简单易用，轻松集成到现有产品，并支持自定义！兼容各种大型语言模型（LLM），例如GPT4、Groq和Llama；兼容各种向量数据库（Vectorstore），例如PGVector和Faiss；支持各种文件类型；您可以随心所欲地进行配置。