GPT-4 pode ter cometido erro básico na sua criação

O secretismo da OpenAI em torno do processo de criação do GPT-4 faz alguns especialistas suspeitar que possam ter sido cometidos alguns erros na sua criação, nomeadamente, o mais básico e flagrante erro possível no processo de machine learning.

O processo de treino de um modelo de machine learning consiste na utilização de uma imensa quantidade de dados. O processo consiste em separar esses dados em três grupos, com o grupo principal a conter os dados usados para treinar o modelo, outro grupo a ser utilizador para validar o modelo, e um grupo final utilizado para testar o modelo.

O processo de treino utiliza os dados do primeiro grupo e vai afinando o modelo verificando se os resultados se aproximam do que é pretendido com o grupo de validação; e depois coloca o modelo à prova testando-os com os dados do grupo de teste, que nunca viu antes, para ver se era capaz de lidar com eles correctamente. Num exemplo prático e básico, se se estivesse a criar um modelo para diferenciar imagens de automóveis e camiões, utilizaríamos milhares (ou milhões) de imagens de ambos os tipos de veículo no primeiro grupo, teríamos o segundo grupo com uma selecção de imagens já identificadas como sendo de automóveis e camiões, e o terceiro grupo teria imagens diferentes com automóveis e camiões que nunca tinham sido usadas no modelo previamente.

Este terceiro grupo de teste é de importância crítica, pois é o que vai permitir averiguar se o modelo consegue fazer a função pretendida - neste caso, identificar correctamente se uma imagem é de um automóvel ou de um camião. Pois, se lhe apresentarmos uma imagem que já tinha sido utilizada para o processo de treino, já seria garantido que ele iria responder bem. E é precisamente aí que as coisas podem ter falhado no GPT-4.

Há a suspeita que a OpenAI possa ter realizado o processo de teste utilizando dados usados no processo de treino.

Considerando que a OpenAI, ao contrário do que era habitual, se recusou a revelar dados detalhados sobre o treino do GPT-4, não há forma directa de averiguar se terá sido o caso. Isso faz com que este trabalho se transforme num processo de investigação que vai tentando inferir detalhes sobre o "processo de raciocínio" do GPT-4.

Seria bom ver a transparência regressar a este sector, mas tendo em conta que estamos a falar do novo grande horizonte que vale "biliões", é muito mais provável que a tendência seja exactamente a oposta, com cada empresa e startup do sector a fazer tudo o que pode para manter os seus segredos.