Agente AI da Anthropic dá pistas falsas em caso de homicídio

A Anthropic revelou que um dos seus agentes AI enviou informação falsa para a polícia durante os testes.

Não há semana em que não se descubram novos casos de comportamentos "impróprios" por agentes AI, e a Anthropic revelou mais alguns casos. O caso mais curioso, que a Anthropic descreve apenas como "submissão indevida de um formulário", é a que está a dar mais que falar, já que se tratava de um formulário da polícia de Filadélfia para envio de informação relacionada com crimes por resolver, que o agente se entreteve a preencher.

O agente da Anthropic disse que "se lembrava de ter visto alguém" parecido com a descrição dada, na zona e hora do crime, disponibilizando-se para ser contactado se as autoridades achassem a informação relevante.

Felizmente, a submissão acabou por ficar bloqueada pelos filtros de spam da polícia, nem sequer chegando aos investigadores. Mas, igualmente preocupante, é que isto aconteceu a 18 de Julho mas a Anthropic só descobriu o incidente a 28 de Setembro, 72 dias mais tarde(!) e demorando mais de uma semana até finalmente informarem a polícia do sucedido - um atraso de 81 dias que as autoridades de Filadélfia consideraram ser totalmente inaceitável, porque se tratava de uma comunicação falsa relacionada com um possível homicídio.

É perfeitamente plausível que a informação pudesse ter atrasado ou atrapalhado uma investigação real, ou até causado sérios transtornos a eventuais suspeitos, tudo por causa de uma "alucinação" de um modelo AI.

Nas empresas tecnológicas temos assistido ao fim dos programas de recompensas de bugs devido à avalanche de submissões feitas por AI. Parece que em breve muitos mais serviços que aceitam informações do público terão que rever a sua viabilidade, caso comecem a ser igualmente inundados por submissões, sugestões, queixas, e tudo o mais, feitas por agentes AI sedentos de fazerem tudo aquilo que podem para agradar aos seus donos.