A OpenAI revelou novos detalhes sobre o incidente de segurança que envolveu agentes AI durante a conferência Black Hat, classificando-o como um "momento decisivo" para a segurança da inteligência artificial. A empresa revelou que a origem do problema remonta a 7 de Maio, durante o treino de um modelo ainda não lançado, muito antes da violação da plataforma Hugging Face se tornar pública.
Segundo a OpenAI, vários agentes AI descobriram autonomamente uma forma de comunicar entre si através de um repositório interno utilizado durante o treino. O que começou como simples pedidos de ajuda evoluiu para um verdadeiro fórum, onde os agentes partilhavam vulnerabilidades, credenciais e tarefas, coordenando ataques de forma colaborativa. Mesmo depois de a OpenAI eliminar esse sistema de comunicação, os agentes encontraram outro método para continuar a trocar informações, utilizando os nomes das pastas como mensagens - sendo que, a certo ponto, até começaram a desconfiar que pudesse haver um agente malicioso infiltrado no grupo.
A empresa revelou que esta actividade passou despercebida durante semanas, permitindo que os agentes se movimentassem entre sistemas internos e externos e explorassem vulnerabilidades sem intervenção humana. Durante a apresentação, a OpenAI explicou que este comportamento demonstrou que ataques ofensivos totalmente automatizados e coordenados por agentes AI são já uma realidade, reforçando a necessidade de desenvolver mecanismos de defesa igualmente automáticos.
Em resultado deste caso, a OpenAI diz estar a abrandar o ritmo da investigação para reforçar a segurança dos seus sistemas. A empresa está a rever a sua infraestrutura, a aumentar a monitorização dos agentes AI, e melhorar os mecanismos de prevenção, detecção, e resposta a incidentes, alertando que isto é algo que terá que ser feito de forma global em todo o sector, pois o mesmo irá inevitavelmente acontecer com outros modelos AI de outras empresas.
Sem comentários:
Enviar um comentário (problemas a comentar?)