Mozilla lança Llamafile para condensar modelos AI num único ficheiro executável

A Mozilla lançou um curioso projecto - Llamafile - que disponibiliza modelos AI num único ficheiro executável em diversos sistemas operativos.

Muito se tem falado de AI nos últimos meses, mas para a maioria das pessoas isso continua a ser algo que está escondido por trás de uma app ou interface web que serve de ligação a serviços na cloud. A Mozilla quer quebrar essa dependência e facilitar o acesso a modelos AI que possam correr em qualquer computador, de forma simples. O resultado é: o Llamafile.

O Llamafile é uma iniciativa bastante curiosa, pois reduz toda a complexidade de um sistema AI a um único ficheiro que integra o modelo LLM (que pode lidar com textos, imagens, etc.) e que pode ser executado directamente em diferentes sistemas operativos: Windows, macOS, Linux, OpenBSD, FreeBSD, e NetBSD. Também dispensa a necessidade de qualquer GPU especializado, pois corre em qualquer CPU convencional, e sem necessidade de instalação de programas adicionais.

A grande vantagem é que isto dá aos utilizadores uma forma de terem modelos AI LLM a correrem localmente nos seus próprios computadores, sem ficarem dependentes de uma ligação a serviços na cloud que podem mudar a qualquer altura, e que facilmente podem transferir para outros computadores ou partilhar com outras pessoas.

Nos sistemas Windows a única limitação é que o sistema só permite executáveis com tamanho máximo de 4 GB, o que obriga a que os modelos maiores tenham que ser usados em variante com ficheiro adicional.