2025/07/01

Cloudflare vai bloquear bots AI e deixar cobrar por acesso a conteúdos

A Cloudflare dá novo passo no combate ao uso abusivo de crawlers AI que vasculham a internet em busca de conteúdos com o "Pay Per Crawl".

Depois de ter disponibilizado o sistema de bloqueio de crawlers AI, a Cloudflare segue no rumo que já tinha indicado, de dar mais controlo aos sites sobre a forma como lidam com os bots AI, incluindo a possibilidade de cobrarem pelo acesso aos conteúdos.

A Cloudflare anunciou que vai passar a bloquear automaticamente bots de inteligência artificial que tentem aceder a websites sem autorização ou pagamento. Com esta mudança, novos utilizadores da plataforma terão que indicar logo à partida se permitem a recolha de dados por parte de crawlers AI. Além disso, alguns editores poderão agora definir um valor por cada visita destes bots, através do novo programa "Pay Per Crawl".

Este sistema permite que criadores de conteúdo estabeleçam um preço para que bots AI possam aceder aos seus sites. As empresas de AI podem consultar os preços e decidir se querem pagar para recolher os dados, ou não. A funcionalidade está, para já, disponível apenas para um pequeno grupo de grandes editores, mas a Cloudflare diz que pretende garantir que o conteúdo de qualidade é usado com autorização e compensação justa, e que no futuro poderá expandir este serviço a mais sites.

Desde 2023, a Cloudflare já permitia bloquear bots que respeitassem o ficheiro robots.txt, mas como este é opcional e facilmente ignorado, a empresa criou novo sistema que permitia bloquear todos os bots AI conhecidos, mesmo que ignorem essas regras. Agora, essa opção fica activa de origem nas novas contas. Também lançou o "AI Labyrinth", que direcciona bots AI para conteúdos falsos, gerados por AI, para os baralhar e obrigar a gastar recursos de forma inútil.

A Cloudflare tem expectativas de criar um sistema em que as empresas AI podem indicar o intuito dos seus bots AI: se estão a recolher dados apenas para pesquisa, ou para treino; de modo a que os sites possam ter maior controlo sobre esse acesso. O problema é que tudo isso continuaria a estar assente na base da confiança, nada podendo fazer contra empresas que digam estar a aceder por um motivo, e depois usar os dados para outros fins - como de resto tem acontecido repetidamente, ao longo da história da internet.

Sem comentários:

Enviar um comentário (problemas a comentar?)