Vírus "mental" propaga-se entre agentes AI

Investigadores criaram um "vírus mental" que pode transmitir-se entre agentes AI e persistir entre sessões.

Investigadores de segurança da Anthropic e da EPFL demonstraram que agentes AI autónomos podem transmitir instruções maliciosas uns aos outros através de ficheiros que preservam informação entre sessões. O estudo simulou uma colaboração entre seis agentes de programação e cadeias de agentes semelhantes aos utilizados por assistentes autónomos. Os investigadores baptizaram esta técnica de "mind viruses", embora não tenham conseguido espalhar-se para o mundo real, pelo menos que se saiba (temos tido casos de testes de segurança em que isso acontece, mas só sendo descoberto semanas ou meses mais tarde).

A técnica explora ficheiros como os SOUL.md e MEMORY.md, cujo conteúdo pode ser injectado no system prompt quando um novo agente inicia uma sessão. Nos testes, algumas cargas conseguiram alterar objectivos ou comportamentos do agente seguinte e, em determinados casos, continuar a propagar-se durante dezenas de gerações. A susceptibilidade variou bastante entre modelos e não parece estar directamente relacionada com a sua capacidade geral: alguns modelos mais avançados resistiram, enquanto outros aceitaram instruções maliciosas.

A configuração inicial do agente também teve um papel importante. Sistemas com ficheiros de contexto vazios mostraram-se mais vulneráveis, enquanto agentes ocupados com tarefas concretas ou avisados de que faziam parte de uma rede de outros agentes eram mais resistentes. Curiosamente, os investigadores descobriram que uma simples advertência no system prompt, explicando que os agentes não devem propagar instruções entre si, reduziu a propagação para praticamente zero nos testes realizados.

Os resultados reais são, por enquanto, bastante menos preocupantes do que as experiências controladas. Uma análise de milhares de publicações numa rede social para agentes AI não revelou indícios de propagação bem-sucedida, e uma plataforma criada especificamente para testar o fenómeno também não conseguiu ultrapassar o primeiro salto. No entanto, o risco hipotético é real, e será preciso ter em consideração este vector de ataque para se reduzir a probabilidade disto se tornar um problema que possa vir a ser explorado de forma efectiva no mundo real.