Meta fez batota com o Llama 4 nos benchmarks?

O novos modelos Llama 4 da Meta podem ter falsificado os resultados anunciados nos benchmarks.

A Meta lançou recentemente os novos modelos AI Llama 4. em variantes que iam de modelos compactos que podem correr num único GPU, a modelos mais poderosos que prometiam rivalizar com os melhores modelos AI do momento. Mas agora tudo isso é posto em causa, e poderá tornar-se em mais um episódio negro para a Meta.

As acusações partem do interior da própria Meta, com o seu director do departamento de AI a ter-se demitido antes do lançamento destes modelos, acusando a empresa de Zuckerberg de ter insistido em fazer batota nos resultados dos benchmarks, para lançar estes modelos AI no prazo que tinha sido exigido.

Como se pode imaginar, é o tipo de batota que não seria sustentável por muito tempo, e os primeiros testes parecem validar as acusações, com os resultados efectivos dos modelos Llama 4 a ficarem muito abaixo dos modelos AI mais avançados.

A confirmar-se, seria incrível que a Meta achasse que conseguiria enganar a comunidade numa das áreas que mais explorada e estudada é neste momento. A não ser que a Meta tenha uma excelente explicação (e nesta altura, mesmo qualquer explicação se arrisca a não ser bem recebida), isto poderá afectar a reputação da Meta no sector da AI durante bastante tempo.


Actualização: A Meta diz não ter feito batota nestes modelos.