Cloudflare hat kürzlich einen revolutionären Markt eingeführt – „Pay-per-Crawler“ – mit dem Ziel, das Verhältnis zwischen Webseitenbetreibern und KI-Unternehmen zu verändern. Dieser neue Markt wird den Inhaltspublikationen helfen, ihre Inhalte besser zu kontrollieren, und gleichzeitig KI-Unternehmen eine faire Möglichkeit bieten, Inhalte abzuholen.
Im vergangenen Jahr hat Cloudflare mehrere Tools zur Bewältigung der starken Zunahme von KI-Crawlern eingeführt, darunter eine Lösung zum Ein-Klick-Blockieren aller KI-Crawlern sowie ein Dashboard zur Überwachung des Zugriffs von KI-Crawlern. Der CEO von Cloudflare, Matthew Prince, sagte in einem Interview, dass diese Tools die Grundlage für den Aufbau des neuen Marktes legten.
Im „Pay-per-Crawler“-Markt können Webseitenbetreiber entscheiden, ob KI-Crawler ihre Websites zu bestimmten Gebühren abholen dürfen, ob sie kostenlos zugänglich sind oder sogar vollständig blockiert werden. Dieses Modell bietet Webseiten mehr Optionen und ermöglicht es ihnen, die Nutzung ihrer Inhalte zu kontrollieren.
Die Einführung dieses Marktes erfolgt gerade, als die Nachrichtenverlage große Herausforderungen erleben, insbesondere im Kontext der zunehmenden Popularität von KI-Chats und der abnehmenden Traffic-Zahlungen durch Google-Suche. Obwohl einige große Zeitungen bereits Verträge über Inhaltslizenzen mit Technologieunternehmen abgeschlossen haben, erhalten die meisten kleineren und mittleren Verleger weiterhin keine faire Vergütung. Cloudflare hofft, durch dieses innovative Geschäftsmodell mehr Verlegern eine nachhaltige Einnahmequelle zu bieten.
Zudem gab Cloudflare bekannt, dass alle neu erstellten Websites standardmäßig KI-Crawler blockieren werden und Webseitenbetreiber speziell Berechtigungen für bestimmte Crawler erteilen müssen. Diese Maßnahme erhielt die Unterstützung mehrerer großer Verleger wie Condé Nast, Time Magazine und Associated Press, und alle hoffen darauf, das Modell der „lizenzbasierten Crawling“ umzusetzen.
Doch die Herausforderungen, die die KI-Ära den Verlegern bringt, dürfen nicht unterschätzt werden. Neue Daten zeigen, dass KI-Crawler viel häufiger crawlen als Google-Crawler. Zum Beispiel benötigt der Crawler von OpenAI 1700 Mal, um den Empfehlungstraffic für Verleger zu generieren, während bei Anthropic sogar 73.000 Mal erforderlich sind. Dies stellt die Verleger vor schwierige Herausforderungen in ihrem Geschäftsmodell, das auf Benutzerzugriff auf Websites angewiesen ist.
Cloudflare betonte auch, dass der wahre Potenzial des Marktes in der zukünftigen breiten Anwendung von „intelligenten Agenten“ liegt. Stellen Sie sich vor, dass Nutzer durch intelligente Agentenprogramme aktuelle Forschungsergebnisse oder Rechtsinformationen erhalten, und diese Agenten können bei Bedarf für hochwertige Inhalte bezahlen.
AI-Unternehmen und Verleger, die an diesem Experiment teilnehmen, müssen Konten bei Cloudflare registrieren und Preise sowie Transaktionen über die Plattform festlegen. Obwohl derzeit keine Kryptowährung verwendet wird, deutete der CEO von Cloudflare an, dass möglicherweise in Zukunft stabile Währungen genutzt werden könnten.
Der „Pay-per-Crawler“-Markt von Cloudflare bietet Verlegern einen neuen Weg, Geld zu verdienen. Obwohl noch viele Herausforderungen bestehen, ist sein Potenzial nicht zu unterschätzen.