A Cloudflare anunciou recentemente o lançamento de um mercado revolucionário — "Pague pelo Crawler" — com o objetivo de redefinir a relação entre os proprietários de sites e as empresas de inteligência artificial (IA). Este novo mercado ajudará os publicadores de conteúdo a controlar melhor seu conteúdo, ao mesmo tempo em que oferece às empresas de IA uma maneira justa de coletar informações.
Na última ano, a Cloudflare lançou várias ferramentas para lidar com o aumento explosivo dos crawlers de IA, incluindo soluções para bloquear todos os crawlers de IA com um único clique e um painel para monitorar as visitas dos crawlers de IA. O CEO da Cloudflare, Matthew Prince, disse em uma entrevista que essas ferramentas foram fundamentais para a criação do novo mercado.
No mercado "Pague pelo Crawler", os proprietários de sites podem decidir permitir que os crawlers de IA coletem seus sites a uma taxa específica, ou escolher abrir gratuitamente, ou até mesmo impedir totalmente o acesso aos crawlers. Este modelo oferece mais opções aos sites, permitindo que eles controlem o direito de uso do conteúdo.
O lançamento deste mercado ocorre em um momento em que a indústria de publicação de notícias enfrenta grandes desafios, especialmente no contexto de uma redução gradual do tráfego proveniente do Google Search e do aumento da popularidade de chatbots de IA. Embora algumas grandes redações já tenham assinado acordos de autorização de conteúdo com empresas de tecnologia, a maioria dos pequenos e médios editores ainda não recebe uma distribuição justa de receitas. A Cloudflare espera, por meio deste modelo de negócios inovador, oferecer fontes sustentáveis de receita para mais editores.
Além disso, a Cloudflare também anunciou que todos os novos sites terão como padrão o bloqueio dos crawlers de IA, sendo necessário que os proprietários de sites concedam permissões individuais a certos crawlers. Esta medida contou com o apoio de vários grandes editores, como Condé Nast, Time Magazine e Associated Press, que esperam alcançar o modelo de "coleta baseada em permissão".
No entanto, os desafios enfrentados pelos editores na era da IA não podem ser ignorados. Dados recentes mostram que a frequência de coleta dos crawlers de IA é muito maior do que a dos crawlers do Google. Por exemplo, o crawler da OpenAI precisa coletar o conteúdo de um editor 1700 vezes para trazer o tráfego recomendado, enquanto a Anthropic precisa de 73.000 coletas. Isso coloca os editores diante de uma grave prova em seus modelos de negócio baseados no acesso dos usuários aos sites.
A Cloudflare também afirmou que o verdadeiro potencial deste mercado está na ampla aplicação futura dos "agentes inteligentes". Imagine que os usuários obtenham as últimas descobertas científicas ou informações jurídicas por meio de programas de agentes inteligentes, e que estes agentes possam pagar por conteúdo de qualidade conforme necessário.
As empresas de IA e os editores que participarem deste experimento precisarão se cadastrar em uma conta na Cloudflare, definindo preços e transações por meio da plataforma. Embora não haja uso de criptomoedas atualmente, o CEO da Cloudflare sugeriu implicitamente que pode explorar o uso de moedas estáveis nas transações no futuro.
O mercado "Pague pelo Crawler" da Cloudflare oferece uma nova via de lucro para os editores, embora ainda enfrentando muitos desafios, seu potencial não pode ser subestimado.