Google apresenta VaultGemma focado na privacidade

A Google revelou o VaultGemma, um modelo AI LLM compacto de 1B, com foco na privacidade.

A Google apresentou o VaultGemma, um novo modelo de linguagem com mil milhões de parâmetros, concebido com a privacidade como prioridade. Ao contrário da maioria dos modelos de grande escala, que correm o risco de memorizar e expor dados de treino, o VaultGemma foi treinado de raiz com privacidade diferencial ("differential privacy"), garantindo matematicamente a protecção contra fugas de informação.

O modelo faz parte da família Gemma e foi desenvolvido com DP-SGD (stochastic gradient descent com privacidade diferencial). Suporta janelas de contexto até 1.024 tokens e tem pesos abertos disponíveis no Hugging Face. Segundo a Google, o VaultGemma apresenta um desempenho semelhante ao de modelos não-privados lançados por volta de 2020, estabelecendo uma referência para aquilo que a inteligência artificial "privacy-first" consegue alcançar hoje. Com a privacidade diferencial, os dados de treino são complementados com "ruído" que não afecta os resultados mas que impede qualquer tentativa de recuperar os dados de treino originais.

Em paralelo, a Google e a DeepMind apresentaram as primeiras leis de escalonamento para LLMs com privacidade diferencial, que mostram como as restrições de privacidade alteram o equilíbrio entre computação, dados e desempenho. Este trabalho ajuda investigadores e empresas a planear de forma mais eficiente o treino de modelos privados dentro de orçamentos de privacidade definidos.

O VaultGemma está pensado para sectores sensíveis como saúde, finanças e serviços jurídicos, onde a confiança e a confidencialidade são cruciais. Apesar de por agora ficar atrás dos modelos mais avançados, a Google afirma que esta abordagem demonstra a viabilidade de se combinar funcionalidades AI com garantias de privacidade, preparando o caminho para futuras melhorias.