Diz-se, de forma meio a brincar mas também meio séria, que o Excel permite fazer "tudo". Ora, este exemplo vem demonstrar que de facto assim é, permitindo explorar em detalhe o funcionamento do GPT-2 da OpenAI numa folha de Excel. Este modelo é relativamente pequeno face aos que vieram a seguir - incluindo o GPT-3 que serviu de base ao popular ChatGPT - mas permite visualizar a enorme complexidade de cálculos que estão envolvidas nestes modelos. Não será por acaso que esta folha de Excel ocupa mais de 1 GB, e estamos a falar de uma fracção do tamanho dos modelos seguintes.
A folha de Excel com o GPT-2 ocupa 1.2 GB e está disponível no GitHub, com o seu criador Ishan Anand a alertar que será normal enfrentar crashes frequentes do Excel, especialmente na versão Mac, e por isso recomendando que se use o Excel para Windows se possível.
De notar que este GPT-2 em Excel apenas suporta um input de 10 tokens (basicamente, só uma palavra ou frase muito curta), tornando-o apenas numa forma de exploração para os curiosos. Em compração, modelos como o GPT-4 Turbo suportam 128 mil tokens de input, e outros modelos já vão anunciando inputs de 1 milhão de tokens. Curiosamente, este projecto começou a ser feito no Google Sheets para poder ser corrido num browser, mas acabou por se tornar demasiado grande para o Google Sheets, levando à mudança para o Excel.
Sem comentários:
Enviar um comentário (problemas a comentar?)