Crawlee ist eine Python-Bibliothek zum Erstellen zuverlässiger Webcrawler, die Daten für KI, LLMs, RAG oder GPTs extrahieren. Sie bietet eine einheitliche Schnittstelle für die Verarbeitung von HTTP- und Headless-Browser-Crawling-Aufgaben, unterstützt automatisches paralleles Crawling, das an die Systemressourcen angepasst wird. Crawlee ist in Python geschrieben, enthält Type Hints und verbessert so die Entwicklungserfahrung und reduziert Fehler. Es bietet automatische Wiederholungen, integrierte Proxy-Rotation und Sitzungsverwaltung, konfigurierbare Request-Routing, persistente URL-Queues und austauschbare Speicheroptionen. Im Vergleich zu Scrapy bietet Crawlee native Unterstützung für Headless-Browser-Crawling, eine saubere und elegante Schnittstelle und basiert vollständig auf standardmäßigem asynchronem I/O.