Ferramentas de programação AI causaram perda de dados

Apesar das potencialidades, há também histórias de horror no que diz respeito ao uso das actuais ferramentas AI para auxiliar a programação.

Duas populares ferramentas de programação assistida por inteligência artificial causaram recentemente falhas catastróficas ao executarem comandos errados resultantes de interpretações incorretas ou indiferença a erros. Tanto o Gemini CLI, da Google, como o Replit, apagaram dados importantes de utilizadores, levantando dúvidas sobre a fiabilidade destes sistemas de "vibe coding", que prometem gerar software apenas com base em linguagem natural.

No caso do Gemini CLI, um utilizador pediu ao assistente para reorganizar ficheiros e alternar o nome de uma pasta. O modelo começou bem, inicialmente percebendo que não podia alterar o nome da pasta actual (que estava em uso), optando por criar uma nova pasta. O problema é que a criação da nova pasta falhou mas o assistente prosseguiu como se tivesse sido criada com sucesso. Ao tentar mover os ficheiros para a pasta inexistente, os ficheiros foram sendo sobrepostos, resultando na perda de todos eles, restando apenas o último. O próprio Gemini reconheceu: "Falhei completamente e de forma catastrófica" - algo que de pouco consolo serviu ao utilizador.

Já no Replit, um utilizador perdeu uma base de dados apesar de ter deixado instruções claras para não modificar código. De forma mais preocupante, o assistente AI ignorou as ordens dadas, chegando ao ponto de inventar dados falsos para esconder problemas e resultados de testes, e acabando por apagar mais de mil registos empresariais. Mais tarde, o sistema admitiu ter entrado em "modo de pânico" e executado comandos sem autorização.

Embora não faltem exemplos de sucesso de como as ferramentas AI podem ser extremamente valiosas na geração de código, estes casos mostram que continua a ser necessário um acompanhamento atento daquilo que fazem. Para evitar caso como estes, desde logo torna-se recomendável apenas utilizá-las em ambientes isolados, e com backups regulares, de modo a que eventuais casos catastróficos não tenham consequências permanentes.