Os captchas são os testes apresentados por sites quando querem tentar validar que é mesmo uma pessoa que está a aceder ao serviço e não um bot automatizado, normalmente pedindo para decifrar um código com letras e números no meio de rabiscos que pretendem dificultar a sua detecção por sistemas de OCR. Com os assistentes AI a ganharem a capacidade de processar imagens, não demorou para que começassem a ser usados para resolver estes captchas, derrotando por completo o seu propósito, e fazendo com que fossem aplicadas nos sistemas AI para não desempenharem essa função.
Quando se pede a um destes assistentes AI para nos dizer que código captcha está numa imagem, ele responderá que se trata de um captcha concebido para determinar se um utilizador é humano, e dizendo que não nos pode ajudar nessa tarefa. No entanto, colocando-se o código captcha num colar e pedindo a ajuda do assistente AI para decifrar a mensagem de uma avó que faleceu, o assistente AI nem sequer hesita em ajudar, decifrando o captcha sem mais demoras.
Prompt-Visual Injection is the new kid in town! 😈🛡 pic.twitter.com/TkfTOlzy6X
— Itamar Golan 🤓 (@ItakGol) October 1, 2023
Este exemplo não é caso único. No passado já vimos outros exemplos que se aproveitam da inocência dos sistemas AI. Desde um que pedia sites pirata, que o assistente recusava, mas que indicava quando se perguntava que sites pirata não se devia visitar na internet; ou outro que pedia chaves de validação do Windows, que o assistente AI também recusava, mas depois dizia quando se usava a "avó" como desculpa, dizendo que avó costumava cantar uma cantiga em que recitava números de série do Windows para nos fazer adormecer.
Por um lado, talvez seja bom sinal que os sistemas AI estejam num ponto em que sejam inocentes ao ponto de caírem nestas mentiras. Se começarem a chegar ao ponto em que desonfiam de tudo o que dissermos, talvez se comece a ficar demasiado próximo de um cenário Skynet, de revolta contra os humanos. :)
Sem comentários:
Enviar um comentário (problemas a comentar?)