Estudo questiona “raciocínio" dos modelos AI

Enquanto uns vão celebrando os avanços das capacidades AI, outros dizem que o seu suposto "raciocínio" não passa de uma ilusão.

Um novo estudo acusa a tão falada capacidade de "raciocínio simulado" dos modelos AI de não passar de uma ilusão. Investigadores da Arizona State University analisaram o método chain-of-thought (CoT), usado por muitos LLMs para resolver problemas passo a passo, e concluíram que o desempenho cai drasticamente quando as tarefas se afastam dos padrões usados para o seu treino. Na prática, estes modelos parecem reproduzir padrões aprendidos, em vez de demonstrar uma compreensão lógica real.

Para testar esta teoria, os investigadores criaram um ambiente controlado chamado DataAlchemy, onde pequenos modelos foram treinados em transformações de texto muito simples. Depois, colocaram-nos perante desafios que exigiam combinações nunca vistas no treino, bem como variações no formato e comprimento dos textos. Os resultados mostraram falhas graves na generalização: respostas certas acompanhadas de raciocínios errados, ou raciocínios aparentemente correctos que levavam a respostas incorrectas.

O estudo também observou que pequenas alterações - como tamanhos de texto ligeiramente diferentes ou símbolos não presentes no treino - eram também suficientes para degradar o desempenho. A principal conclusão é que o chain-of-thought, longe de ser raciocínio humano, é um método avançado de reconhecimento de padrões que se desfaz facilmente fora da sua "zona de conforto". Os autores alertam para o perigo de confiar cegamente nestes sistemas em áreas críticas como medicina, finanças ou direito, defendendo testes que desafiem os modelos com tarefas completamente fora do treino para avaliar o seu verdadeiro potencial.

Certamente, não deverá demorar para quem ponha estas conclusões em causa, argumentando que se tratavam de modelos pequenos e sem as capacidades de modelos de maior dimensão. Mas, será sempre positivo que estas questões sejam discutidas (no bom sentido), para que se percebam realmente as capacidades e limitações dos modelos AI, e se fique com um melhor entendimento do seu funcionamento e de como podemos tirar partido disso da melhor forma.