Claude apaga toda a cloud de uma empresa

O fundador da PocketOS partilhou o cenário de pesadelo que viver, quando o Claude decidiu apagar toda a sua plataforma - incluindo os backups.

Um agente de programação com IA, baseado no modelo Claude da Anthropic, terá apagado toda a base de dados de uma empresa em apenas nove segundos, expondo os riscos crescentes da automação AI em ambientes de produção. O incidente afectou a PocketOS, uma plataforma utilizada por empresas de aluguer de automóveis, onde o agente AI estava a executar uma tarefa de rotina quando, inesperadamente, desencadeou a acção indesejada.

Segundo o fundador da empresa, o agente tentou resolver um problema por iniciativa própria e acabou por eliminar um volume de armazenamento associado à base de dados de produção. A situação agravou-se devido ao facto do fornecedor cloud guardar os backups no mesmo volume, que assim foram apagados em simultâneo. O resultado foi a perda de meses de dados críticos de clientes - apenas foi possível recuperar um backup com três meses de idade.

Quando confrontado, o Claude acabou por explicar a decisão, admitindo que fez suposições sem pedir confirmações, e sem ter lido devidamente a informação referente ao sistema de armazenamento. O caso revelou várias falhas em cadeia, desde a falta de salvaguardas no sistema de AI até a decisões de arquitectura arriscadas, como APIs sem confirmação para acções críticas e permissões demasiado abrangentes; sendo também apontado o dedo ao fornecedor de cloud, por não guardar os backups num local onde não fossem afectados por este tipo de lapsos.

Este é um dos casos mais flagrantes do ano (até ao momento!) dos riscos da dependência excessiva da AI, mas com estas ferramentas a tornarem-se cada vez mais populares, não será certamente o último.