O Portkey AI Gateway é a interface entre aplicativos e LLMs hospedados. Ele otimiza solicitações de API para OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini etc., usando uma API unificada, permitindo roteamento fluido. Este gateway é rápido e leve, possui um mecanismo de repetição embutido, suporta balanceamento de carga de vários modelos e garante a confiabilidade e o desempenho do aplicativo.