Assistentes AI enganados para gerar código malicioso

Investigadores de segurança demonstraram uma técnica que pode ser usada para enganar assistentes AI de modo a que sugiram código malicioso aos utilizadores.

Assistentes como o ChatGPT têm maravilhado tudo e todos, sendo possível pedir-lhe que crie um pedaço de código que faça aquilo que desejarmos. Mas, como também se tem alertado, nada assegura que o código esteja realmente correcto, e neste caso, pode até conter funcionalidades indesejadas de malware.

A técnica Trojan Puzzle é bastante elaborada e consiste em se infitrar nos sistemas AI logo desde o ponto de origem, incluindo exemplos manipulados para incluir o código malicioso. Normalmente, esses pedaços de código malicioso são facilmente detectados por ferramentas de análise, o que tem levado à criação de técnicas criativas para tentar escapar à detecção. Uma das técnicas consiste em disfarçar o código malicioso como se fosse um comentário, mas que pode influenciar as sugestões geradas pelo sistema AI.

Mas, neste caso, o conteúdo malicioso é dividido por diferentes blocos, que invalida os sistemas de análise tradicional, mas continua a ser suficiente para "ensinar" - ou melhor dizendo, enganar - o sistema AI de modo a que faça uma sugestão de código com malware incluído, que nunca esteve expressamente visível nos exemplos iniciais.

Tendo em conta que estas ferramentas AI de geração de código se irão tornar imensamente mais populares ao longo dos próximos anos, e que será inevitável que cada vez mais pessoas as utilizem, este é um risco que não pode ser descartado e que se pode tornar numa real ameaça a longo prazo.

Tal como tem sido referido, mesmo com a ajuda deste tipo de ferramentas, é imprescindível que os utilizadores saibam o que estão a fazer e analisem cuidadosamente qualquer código que lhes seja sugerido por um sistema AI, tal como o devem fazer com qualquer outro exemplo na net que queiram copy-paste.