Apple mostra limitações dos modelos AI LLM

Apesar das capacidades AI impressionantes, investigadores da Apple acalmam as expectativas demonstrando que os modelos LLM actuais estão longe de conseguirem "raciocinar".

Não faltam exemplos dos modelos AI actuais conseguirem fazer coisas incríveis e que deixarão qualquer pessoa de queixo caído. Temos até alguns episódios bastante mediáticos de investigadores que anunciaram terem ficado "assustados" com as capacidades de raciocínio dos modelos AI que estavam a desenvolver. Mas, há também os que dizem que os actuais modelos AI não passam de sistemas de "auto-complete" avançados, e o mais recente trabalho de investigadores da Apple (PDF) parece vir dar-lhes razão.

Os actuais modelos LLM não conseguem raciocionar nem perceber exactamente aquilo que lhes é dito, e para tal apresentam diversos exemplos, alguns dos quais bastante simples. Como um em que refere que uma pessoa apanha 44 kiwis numa sexta-feira, 58 kiwis no sábado, e no domingo apanha o dobro dos kiwis que apanhou na sexta, mas com cinco deles a serem mais pequenos que o normal.

Modelos, como o o1-mini e Llama3-8B são capazes de fazer a conta básica de quantos kiwis apanhou, mas depois erram totalmente ao subtrair os cinco kiwis pequenos, que deveriam continuar a ser contabilizados.

Existem outros cenários em que os modelos falham. Tal como por vezes alucinam respostas completamente falsas ou idiotas, os modelos LLM também podem fazer movimentos inventados (ilegais) no xadrez e outros jogos, ou até falhar completamente em contas matemáticas.

Ou seja, no seu estado actual, os modelos AI são ferramentas bastante capazes, desde que a pessoa que os utilize tenha a capacidade e sensatez de verificar se os resultados realmente fazem sentido. Caso contrário, podem estar a deixar-se guiar pelas deambulações digitais do primo avançado do auto-complete que vos assiste (muitas vezes igualmente mal) no teclado.