Sites encerram por causa dos bots AI

Os acessos excessivos dos bots AI já estão a levar ao encerramento de alguns sites por causa das contas do tráfego adicional.

São muitos os serviços e sites que se queixam da quantidade de acessos de novos bots AI, que fazem disparar os custos do serviço de alojamento, e que nalguns casos até estão a obrigar ao seu encerramento.

O site bytes.com, um site do estilo do Stack Overflow, dedicado a perguntas e respostas de programadores, é um dos que sofre com isso, dizendo que devido aos custos adicionais provocados pelos bots AI, não teve outro remédio senão encerrar por completo:

"Due to the increasing costs of serving pages and mainly to LLM bots, we had to make the difficult decision to stop serving pages."

Vários amigos e conhecidos que gerem sites também me dizem que têm notado um aumento substancial dos acessos, por conta destes bots AI, sedentos de recolher todos os dados que podem apanhar. O mais absurdo é que, alguns deles, em vez de se limitarem a fazer estes acessos com uma frequência aceitável, bombardeiam os sites com dezenas ou centenas de milhar de pedidos por dia, levando aos tais custos insustentáveis para sites que tenham que pagar pelo tráfego enviado.

Neste momento há empresas AI que se comprometem a seguir as instruções dadas no robots.txt para permitirem ou não permitirem o acesso destes bots, mas há muitas outras que simplesmente ignoram essas instruções. Adicionalmente, há uma grande diferença entre permitir o acesso de bots AI e esperar que isso fosse feito de maneira razoável, e estes tais acessos em quantidade excessiva.

De qualquer forma, se são responsáveis por algum site e com alojamento que paga pelo volume de dados transferidos, é algo a que convém estar atento, para evitar surpresas desagradáveis na conta a pagar no final do mês.