Estudo da Apple mostra limites dos modelos LLM

Com os modelos LLM a parecerem ser o caminho para as super-AI, um estudo da Apple parece indicar o contrário.

Os apologistas dos sistemas AI têm estado em euforia por se assistir um crescimento aparentemente exponencial que faz antever que se possa estar prestes a atingir o estado das "super-AI", capazes de superar o raciocínio humano. Mas, há quem continue a insistir que os actuais modelos AI não passam de sistemas "auto-correct" extremamente evoluídos, sem real consciência do que fazem. E agora, há um estudo da Apple que lhes parece dar razão.

O estudo da Apple "The Illusion of Thinking" (pdf link) foca-se especificamente no comportamento dos LLMs, desafiando-os na resolução de diversos puzzles, e concluindo que, a partir de certo nível de complexidade, os modelos colapsam, demonstrando que não têm qualquer noção real daquilo que deveriam fazer.

Main takeaway from Apple's "The Illusion of Thinking" paper imho:

- The authors introduce a rigorous puzzle-based framework for quantifying reasoning ability.
- Beyond a critical complexity threshold, accuracy plummets to zero.

Read it yourself :)https://t.co/AUtIGp7q6a pic.twitter.com/gMG1mj4ftc

— Anton (@Antoninarto) June 8, 2025

Pode ser visto como um "balde de água fria" que tempera os progressos e expectativas para a evolução dos modelos; mas que obviamente também leva a críticas. Por um lado, há os que acusam a Apple de estar apenas a querer desvalorizar as empresas que actualmente dominam o sector - por ela própria ter ficado para trás e não ter capacidade de resposta (nem sendo previsível que o consiga fazer antes de um ou dois anos). Por outro lado, há também o próprio contra-ponto de que as conclusões apresentadas podem não ser as mais correctas, tal como indica uma análise a este estudo feito pelo o3 da OpenAI.

I asked o3 to analyse and critique Apple's new "LLMs can't reason" paper. Despite its inability to reason I think it did a pretty decent job, don't you? pic.twitter.com/jvwqt3NVrt

— rohit (@krishnanrohit) June 9, 2025

Esta análise diz que o comportamento pode ser o resultado de outras limitações e não significar o falhanço do raciocínio; e, no mínimo, apresenta alguns pontos que efectivamente merecem análise adicional.

Seja como for, quer se esteja num ou noutro campo, o que é inegável é que os actuais modelos AI, no seu estado actual, já são imensamente úteis e capazes de feitos impressionantes - mesmo descontando-se todas as suas falhas e possíveis alucinações. Será inevitável que, para o futuro as coisas apenas melhorem, e a tal capacidade de "super-inteligência" passa a ser apenas uma questão de "quando" e não uma questão de "se".


Actualização: um novo estudo aponta que o processo de teste da Apple tem falhas, e que os modelos LLM são capazes de solucionar os problemas colocados.