xAI lança Grok como open-source

Elon Musk cumpriu a promessa e a xAI lançou o seu modelo AI Grok como open-source, treinado para tudo e para nada.

O Grok passa a estar disponível como open-source, podendo até ser usado em produtos e serviços comerciais. O modelo "Mixture-of-Expert" foi treinado com base em 314 mil milhões de parâmetros, mas não foi afinado para nenhuma aplicação em particular, nem tão pouco inclui acesso aos tweets mais recentes no X para ter informação actualizada.

Para ser utilizado será preciso fazer treinos adicionais para a tarefa pretendida, quer seja para se criar um assistente estilo ChatGPT, ou qualquer outra coisa.

xAI releases Grok-1

blog: https://t.co/F5R07pfwrG
code: https://t.co/AYFN0jsAeB

Base model trained on a large amount of text data, not fine-tuned for any particular task.

314B parameter Mixture-of-Experts model with 25% of the weights active on a given token.

Trained from… pic.twitter.com/cuTeIi65IQ

— Tanishq Mathew Abraham, Ph.D. (@iScienceLuvr) March 17, 2024

Várias outras empresas têm disponibilizado alguns dos seus modelos como open-source, incluindo a Meta (com o LLaMa) e a Google (Gemma 2B e Gemma7B). A notável ausente é a OpenAI, que depois de ter disponibilizado o GPT-2 (que até já foi implementado numa folha de Excel), deixou de o fazer para os seus modelos seguintes (GPT-3, que deu origem ao ChatGPT, e o mais recente GPT-4) dizendo que seria "perigoso" disponibilizá-los publicamente.