A Cloudflare divulgou um relatório afirmando que a startup de pesquisa com inteligência artificial Perplexity estaria envolvida em tentativas de contornar restrições destinadas a impedir que seus robôs de navegação acessem certos sites. Segundo a Cloudflare, quando seus robôs encontram barreiras, a Perplexity tenta burlar as preferências dos sites, incluindo restrições declaradas nos arquivos robots.txt e regras do firewall de aplicações da web (WAF), ocultando sua identidade.
Essa acusação aumentou as preocupações sobre o conteúdo obtido pela Perplexity sem permissão. Anteriormente, a Perplexity havia sido criticada por quebrar paredes pagas e ignorar os arquivos robots.txt, mas seu CEO Aravind Srinivas atribuiu a culpa a robôs de terceiros.
Para verificar as reclamações dos clientes, a Cloudflare criou novos domínios com restrições de acesso semelhantes para testes. O resultado revelou que os robôs da Perplexity (inicialmente chamados de "PerplexityBot" ou "Perplexity-User") mudavam imediatamente seu agente de usuário após serem bloqueados, se passando por "Google Chrome em execução no macOS". A Cloudflare afirmou que esses "robôs não declarados" também usavam endereços IP alternados e alteravam suas redes de sistemas autônomos (ASN) para contornar as restrições. A Cloudflare informou que observou esse comportamento de evasão envolvendo "dezenas de milhares de domínios e milhões de solicitações diárias".
Como resposta, Jesse Dwyer, porta-voz da Perplexity, em uma declaração disse que o relatório da Cloudflare era "hype" e que existiam "muitas compreensões erradas". Apesar disso, a Cloudflare removeu a Perplexity da lista de robôs verificados e publicou métodos para impedir seu "rastreamento invisível".