Cloudflare hat einen Bericht veröffentlicht, in dem es heißt, dass das KI-Suchstart-up Perplexity verdächtigt wird, Maßnahmen zu umgehen, die darauf abzielen, seinen Web-Crawler den Zugriff auf bestimmte Websites zu verweigern. Laut Cloudflare versucht Perplexity, bei Blockaden durch seine Crawler, ihre Identität zu verbergen, um die Einstellungen der Websites zu umgehen, einschließlich der in der robots.txt-Datei angegebenen Einschränkungen und der Regeln des Web Application Firewalls (WAF).
Diese Vorwürfe verstärken die Sorgen der Öffentlichkeit hinsichtlich des unerlaubten Zugangs von Perplexity zu Inhalten. Bisher war Perplexity aufgrund des gewaltsamen Durchbrechens von Paywalls und der Ignorierung der robots.txt-Dateien kritisiert worden, doch der CEO Aravind Srinivas gab damals die Schuld an Drittanbieter-Crawlern.
Um die Beschwerden ihrer Kunden zu überprüfen, hat Cloudflare neue Domains mit ähnlichen Zugriffsbeschränkungen eingerichtet und getestet. Dabei stellte man fest, dass die Crawler von Perplexity (ursprünglich als „PerplexityBot“ oder „Perplexity-User“ bezeichnet) nach einer Blockade sofort ihren Benutzer-Agenten ändern und sich als „Google Chrome unter macOS“ ausgeben. Cloudflare sagte, dass dieser „nicht angegebene Crawler“ auch wechselnde IP-Adressen und veränderte Autonomes System Netzwerk (ASN) verwendet, um die Sperrung zu umgehen. Cloudflare berichtete, dass diese Umgehungsverhalten „tausende von Domains und Millionen von Anfragen pro Tag“ betreffen.
