Toolformer ensina LLMs a expandirem as suas capacidades

As capacidades dos LLMs (Large Langage Models) como o ChatGPT pode ser expandida ainda mais, ensinando-os a usarem ferramentas adicionais.

É impossível não ficar impressionando ao se utilizar um assistente como o ChatGPT, mas ainda mais impressionante é descobrir que o seu conhecimento não é limitado às coisas que foram utilizadas para o treinar, mas também sendo possível ensinar-lhe novas capacidades.

É precisamente esse o tema do Toolformer, que demonstra como se podem ensinar os LLMs a utilizar ferramentas externas que resolvam as suas lacunas.

Por exemplo, estes assistentes falham muitas vezes em coisas como aritmética simples. Com este sistema, torna-se possível ensinar o assistente a utilizar um serviço externo de cálculo, ao qual poderá recorrer sempre que for necessário. E o mesmo se aplica para qualquer outra coisa, como serviços de traduções, ou até motores de pesquisa para ir buscar dados sobre tópicos que não esteja familiarizado.

My thoughts on Toolformer

IMO the most important paper in the past few weeks.https://t.co/4IDciigbkc

Teach an LLM to use tools, like a calculator or search engine, in a *self-supervised manner*

Interesting hack to resolve many blind spots of current LLMs

Here's how 👇 pic.twitter.com/zXveKAfQDa

— Jay Hack (@mathemagic1an) February 12, 2023

Tudo isto é feito através de "diálogo" com o LLM e não através de programação tradicional, um pouco ao estilo do que já tinha sido feito naquela demonstração de integração do ChatGPT com a Siri e Home Assistant.

Imagine-se ao ponto a que as coisas poderão chegar daqui por mais alguns anos, quando pudermos pedir a um "ChatGPT 5.0" para criar o ChatGPT 6.0 com capacidades muito superiores às suas. :)