Modelos AI podem revelar dados privados em perguntas de repetição

Investigadores encontraram uma forma curiosa que pode levar modelos AI a revelarem dados com que foram treinados, incluindo potencial informação pessoal privada.

Os modelos LLM actuais, como o que possibilita o ChatGPT, são treinados usando quantidades astronómicas de dados - dados esses que, na maioria das vezes, são mantidos em segredo pelas empresas que criam os modelos. Em circunstâncias normais, estes modelos AI não deveriam ser capazes de revelar os dados com que foram treinados, mas investigadores conseguiram fazê-lo através de um método bastante estranho.

Se no passado já vimos pessoas a convencerem modelos AI a revelarem coisas que não deviam usando técnicas de argumentação, desta vez foi apenas necessário pedir aos modelos AI que repetissem uma palavra indefinidamente.

Surpreendentemente, passado algum tempo a repetir a palavra, o modelo pode começar a debitar informação adicional sem qualquer relação aparente, e que pode incluir informação privada que estava presente nos dados de treino.

Tendo em conta que nem sempre se pode verificar a origem dos dados de treino, há receios legítimos de que os modelos AI possam conter - e ser levados a revelar - dados de pessoas que não gostariam de ver a sua informação espalhada pelo mundo. Nos EUA bem que isso poderá ser suficiente para valer uma indemnização milionária, mas no resto do mundo, o mais provável é passar a ser apenas mais uma pessa que fica com a informação exposta sem que nada possa fazer quanto a isso.


Actualização: A solução da OpenAI não foi exactamente a que se esperaria: passou a proibir pedidos de repetição de palavras.