Copilot revela parâmetro secreto usado em ataques contra ele próprio

Com alguma persuasão, o Copilot revelou um parâmetro que possibilitava ataques automáticos contra ele próprio.

Investigadores de segurança descobriram uma vulnerabilidade no Microsoft 365 Copilot Enterprise que podia permitir a um atacante roubar informação sensível com apenas um clique num link. O mais curioso é que foi o próprio Copilot que ajudou a revelar o segredo usado no ataque: ao questionarem repetidamente o Copilot sobre as suas protecções, os investigadores conseguiram obter detalhes sobre o funcionamento dos seus mecanismos de segurança, incluindo um parâmetro não documentado que permitia executar automaticamente um prompt sem necessidade da habitual confirmação do utilizador.

A investigação mostrou que era possível criar um link especialmente preparado que, quando aberta por uma vítima com sessão iniciada, fazia com que um prompt fosse executado automaticamente. Esse prompt podia comandar o assistente a procurar informação nas aplicações e dados disponíveis na conta, e enviar esses conteúdos para um servidor controlado pelo atacante. O ataque podia ser iniciado através de meios comuns, como uma mensagem, email, página web ou código QR.

https://copilot.microsoft.com/?q=&autorun=1

[O parâmetro em questão "?autorun=1"]

A vulnerabilidade - designada por CoSnitch - foi comunicada à Microsoft, que começou a limitar o mecanismo explorado em Fevereiro e posteriormente apresentou correcções mais abrangentes. Os investigadores também descobriram outro problema relacionado com o armazenamento de memória permanente do Copilot, que podia permitir a uma página maliciosa inserir instruções falsas na memória do assistente. Essas informações poderiam continuar a influenciar respostas futuras mesmo depois iniciar nova sessão.

O caso mostra os desafios de segurança dos assistentes AI com acesso a emails, ficheiros, apps, e memória persistente. É necessário cuidados redobrados quando se dá esse acesso, idealmente associando o assistente AI a contas próprias secundárias que evitem o acesso às contas principais dos utilizadores. E neste caso, o episódio torna-se particularmente irónico porque revela como se pode levar um assistente AI a revelar informação que permite fazer ataques contra si próprio. Não que isto seja caso isolado, pois até ao momento ainda não foi criado nenhum modelo AI que fosse capaz de resistir aos chamados "jailbreak" que ultrapassam as restrições de segurança.