A Microsoft e Nvidia anunciaram o mais recente e poderoso sistema de linguagem natural, o Megatron-Turing Natural Language Generation (MT-NLG) com 530 mil milhões de parâmetros.
Este
MT-NLG contém o triplo dos parâmetros dos modelos anteriores (o já impressionante GPT-3) e, segundo a MS, atinge resultados incomparáveis em diversas áreas de actuação, incluindo compreensão, inferências, e raciocínio. Pode fazer coisas como resumir textos, responder a perguntas sobre eles, e até inferir fórmulas matemáticas incompletas e escrever código de computador. Tudo com base na imensidão de exemplos que foram usados para o treinar - um pouco ao estilo de alguém a quem fossem dado 530 mil milhões de coisas para aprender.
Os conteúdos para este treino vieram do "The Pile", uma colecção dados oriundos de arquivos de documentos académicos, sites como a Wikipedia, GitHub, e outros, aos quais foram adicionados mais uns milhões de páginas web variadas, com notícias, conteúdos sociais, e outros. Para "compilar" tudo isto no modelo de linguagem natural, foram usados 560 servidores Nvidia DGX A100, cada um deles contendo 8 GPUs Nvidia A100 com 80 GB. Embora a utilização destes modelos seja relativamente simples, o seu treino é uma tarefa extremamente intensiva e dispendiosa - estimando-se que seja algo que tenha um custo de vários milhões de dólares (ou, posto de outra forma, seria algo que demoraria mais de 660 anos a calcular num GPU Nvidia RTX 8000).
Sabendo-se aquilo que o
GPT-3 já era capaz de fazer, poderemos esperar coisas verdadeiramente fantásticas deste MT-NLG, e não deverá demorar muito para que comecem a surgir exemplos concretos disso nas mais variadas áreas.
E a este ritmo, não deveremos ter que esperar muito para que se crie o primeiro sistema NLP treinado com 1 bilião de parâmetros!
Sem comentários:
Enviar um comentário (problemas a comentar?)