Como funcionam os LLM usados na AI

Quem tiver curiosidade, poderá ver como funcionam os modelos LLM utilizados actualmente nos sistemas de inteligência artificial.

A maioria das pessoas saberá que o processamento destes modelos LLM (Large Language Models) é bastante intensivo, mas provavelmente sem fazer ideia do que é que isso representa. Mas agora é algo que podem ver de forma interactiva neste visualizador 3D de LLM, que explica, e mostra, todos os passos do processo.

Project #2: LLM Visualization

So I created a web-page to visualize a small LLM, of the sort that's behind ChatGPT. Rendered in 3D, it shows all the steps to run a single token inference. (link in bio) pic.twitter.com/nuxHi6cR5n

— Brendan Bycroft (@BrendanBycroft) December 2, 2023

São contas e mais contas, para um exemplo simples, e o mais impressionante é olhar para a diferença entre os diferentes modelos. O modelo nano-gpt apresentado parece ter uma incrível complexidade, mas quando posto em perspectiva ao lado de um modelo como o GPT-2 (XL) parece um simples ponto; e o GPT-2 (XL) torna-se também num pequeno bloco quando comparado com o GPT-3.

De qualquer forma, é algo que poderá auxiliar todos os interessados em sistemas de inteligência artificial a perceberem um pouco melhor o funcionamento do "transformer model" usado por estes LLM.