Ataque explora alucinações AI nas perguntas de programação

Um investigador explorou as "alucinações" dos modelos AI para infectar projectos com bibliotecas inexistentes sugeridas por assistentes AI.

É cada vez mais frequente ver programadores a recorrerem à ajuda dos modelos AI para acelerarem os seus projectos. Mas, como também se sabe, nem tudo o que estes modelos dizem está correcto.

Se o caso das alucinações em conversas é facilmente detectável, com o assistente AI a começar a dizer coisas sem nexo, nas respostas de programação as coisas tornam-se bastante mais complicadas. Neste caso, o investigador explorou as coisas que os modelos respondiam com maior frequência a perguntas plausíveis de programação, quando referiam a inclusão de bibiliotecas de código inexistentes, e criando-as de modo a que quem fizesse a mesma pergunta no futuro pudesse começar a dar-lhes uso.

Por exemplo, numa das perguntas, o ChatGPT indicava ser necessário a instalação de um interface "hugginface-cli", que não existia.

Demonstrando a assustadora viabilidade deste tipo de ataque, depois de ter criado este módulo inexistente, o investigador obteve mais de 30 mil downloads em apenas três meses - sendo que, apesar de neste caso não conter código malicioso, isso seria certamente bem diferente no caso de um ataque real.

Há que ter em conta que também nas respostas dos modelos AI se aplica a habitual regra de ouro de "não se pode configar cegamente em tudo o que se vê na internet". E isso aplica-se de forma ainda mais crítica quando se trata de fazer "copy-paste" de código de programação.