Gboard prepara suporte para linguagem gestual

O Gboard parece estar a preparar o suporte para linguagem gestual através da câmara.

A Google poderá estar a preparar uma das maiores novidades de acessibilidade de sempre para o Gboard. Elementos encontrados na versão beta da app de teclado da Google revelam uma funcionalidade chamada Sign-to-Text, capaz de converter língua gestual em texto utilizando a câmara do smartphone e inteligência artificial.

A funcionalidade deverá recorrer a um sistema híbrido de processamento. O vídeo captado pela câmara será analisado localmente no dispositivo para identificar os gestos, enquanto apenas os dados essenciais serão enviados para os servidores da Google para interpretação. Desta forma, o vídeo do utilizador não sai do equipamento, reforçando a protecção da privacidade.

Tudo indica que o Sign-to-Text será baseado no modelo AI SignGemma, apresentado pela Google DeepMind em 2025 para interpretar língua gestual. O Gboard também deverá orientar os utilizadores para posicionarem correctamente as mãos e o corpo em frente à câmara, de modo a melhorar a precisão do reconhecimento. Ainda não se sabe quando a funcionalidade será lançada nem que idiomas de língua gestual serão suportados inicialmente. No entanto, a novidade poderá representar um importante avanço na acessibilidade dos smartphones Android, oferecendo uma nova forma de comunicação para milhões de utilizadores surdos ou com dificuldades na fala.

Dito isto, deixo no ar a pergunta sobre se o Gboard será a melhor app para estrear esta capacidade, já que nada impede um utilizador surdo / mudo de escrever como qualquer outra pessoa. Poderia fazer mais sentido integrar esta capacidade no Google Translate, como forma de interpretar aquilo que alguém esteja a dizer por linguagem gestual, convertendo-o para voz e texto.