vLLM

Plataforma de inferência e serviço LLM rápida e fácil de usar

Seleção InternacionalProgramaçãoLLMInferência

vLLM é uma biblioteca rápida, fácil de usar e eficiente para inferência e fornecimento de serviços de modelos de linguagem grandes (LLM). Por meio do uso das mais recentes tecnologias de taxa de transferência de serviço, gerenciamento de memória eficiente, solicitações de processamento em lote contínuo, execução rápida de modelos de gráfico CUDA/HIP, técnicas de quantização, núcleos CUDA otimizados, etc., ele fornece serviços de inferência de alto desempenho. O vLLM suporta integração perfeita com modelos HuggingFace populares, suporta vários algoritmos de decodificação, incluindo amostragem paralela, pesquisa de feixe, etc., suporta paralelismo de tensor, é adequado para inferência distribuída, suporta saída em fluxo e é compatível com o servidor de API OpenAI. Além disso, o vLLM também suporta GPUs NVIDIA e AMD, e suporte experimental de cache de prefixo e multi-lora.

Notícias de IA

IA Diário

Linha do Tempo da IA

Al hardware

Casos Recentes

Coleção de Imagens

Coleção de Vídeos

Coleção de Áudios

Coleção de Conteúdo

Tutoriais Recentes

Ranking de Produtos de IA

Ranking de Crescimento de Tráfego de IA

Ranking de Queda de Tráfego de IA

Ranking Semanal de IA

Estados Unidos

China

Índia

Brasil

Geração de Imagens

Assistente Pessoal

Geração de Personagens

Geração de Vídeos

Ranking de Projetos de IA

Ranking de Crescimento de Projetos de IA

Ranking de Desenvolvedores de IA

Ranking de Organizações de IA

Deepseek

TTS

LLM

ChatGPT

Visão Geral

vLLM

vLLM Situação do Tráfego Mais Recente

vLLM Tendência de Visitas

vLLM Distribuição Geográfica das Visitas

vLLM Fontes de Tráfego

vLLM Alternativas

vLLM — Plataforma de inferência e serviço LLM rápida e fácil de usar

Llama-3.1-Nemotron-70B-Instruct — Modelo de linguagem grande personalizado pela NVIDIA, aprimorando a utilidade das respostas a consultas.

LLM Eficiente — Solução eficiente de inferência LLM em GPUs Intel

mcp-use — mcp-use is the simplest way to interact with MCP tools and supports custom agents.

Llama 3.1 Nemotron Ultra 253B — Um modelo de linguagem grande eficiente para raciocínio e bate-papo.

Memória Básica — Construa conhecimento persistente através de diálogos com LLM, armazenado em arquivos locais Markdown

openai-agents-python — Uma estrutura de fluxo de trabalho multiagente leve e poderosa

Awesome-LLM-Post-training — Un repositorio de recursos de tutoriales, estudios y guías sobre métodos de post-entrenamiento de modelos lingüísticos de gran tamaño (LLM).

l1m — Uma API proxy usada para extrair dados estruturados de texto e imagens, implementada com base em LLMs.

Gerador de Firecrawl LLMs.txt — Ferramenta para gerar arquivos de texto integrados de sites para treinamento e inferência de LLM

Hugo Translator — Outil de traduction d'articles basé sur les LLM, traduisant et créant automatiquement des fichiers Markdown multilingues.

Agentes Aviator — Uma estrutura de agente baseada em LLM para executar migrações de código em larga escala em repositórios de código.

llm-commit — Un plugin pour générer des messages de commit Git avec un LLM

Crawl4LLM — Uma ferramenta de web scraping eficiente para pré-treinamento de LLM, focada em extração eficiente de dados de alta qualidade.

hallucination-leaderboard — Um ranking que compara a taxa de alucinação de grandes modelos de linguagem (LLMs) ao resumir documentos curtos.

VisionAgent — O VisionAgent é uma biblioteca para gerar código que resolve tarefas de visão computacional, suportando diversos provedores de LLM.

OmniParser V2 — OmniParser V2 é uma tecnologia que transforma qualquer LLM em um agente utilizável por computador.

Supametas.AI — Plataforma de processamento de dados não estruturados que ajuda as empresas a construir rapidamente conjuntos de dados setoriais e integrá-los ao banco de conhecimento LLM RAG.

stocks-insights-ai-agent — Aplicativo full-stack baseado em LLM e LangChain para recuperação de dados e notícias de ações.

OpenDeepResearcher — Uma ferramenta de pesquisa profunda baseada em IA que busca informações continuamente até atender às necessidades de consulta do usuário.

Please — Please é uma empresa dedicada a fornecer serviços de inteligência artificial para consumidores.

InternVL2_5-78B-MPO — Esta é uma série de modelos de linguagem grandes multimodais avançados, apresentando desempenho geral excepcional.

DocETL — Um sistema de processamento de dados impulsionado por LLM.

DocWrangler — Um ambiente de desenvolvimento interativo de código aberto para construir e otimizar pipelines de processamento de dados baseados em LLMs.

llm-datasets — Conjunto de dados, ferramentas e conceitos de alta qualidade para o ajuste fino de modelos de linguagem grandes.

FlashInfer — FlashInfer é uma biblioteca de kernels de GPU de alto desempenho para serviços de modelos de linguagem grandes.

llmstxt-generator — Ferramenta para gerar arquivos de texto integrados de conteúdo de sites para treinamento e inferência de LLM.

CodebaseToPrompt — Ferramenta que converte arquivos locais em prompts estruturados para modelos de linguagem grandes.

Incorporação de Documentos — Utiliza tecnologia de IA composta para processar documentos em linha, superando a diferença de modalidades.

IdentityRAG — Ferramenta LLM para pesquisa, unificação e recuperação de dados de clientes