Anthropic deixa Claude 3.5 Sonnet controlar o rato do PC

A Anthropic permite que o seu modelo AI Claude 3.5 Sonnet possa efectuar tarefas controlando o ponteiro do rato do utilizador.

Os actuais modelos AI funcionam quase sempre dentro do seu mundo isolado, mas a Anthropic dá mais alguns passos no sentido dos modelos AI poderem efectuar acções genéricas a nível de desempenhar tarefas no computador, dando-lhe a capacidade de controlar o rato.

A nova ferramenta chamada "Computer Use" vai buscar inspiração a alguns projectos feitos pode entusiastas que exploram as capacidades dos modelos AI e pode assumir o controlo do cursor do rato do utilizador para realizar tarefas básicas no computador. Esta funcionalidade permite que os utilizadores deem instruções em vários passos para completar tarefas, com a AI a "ver" o ecrã, mover o cursor, clicar em botões e escrever texto. Está disponível via API no modelo Claude 3.5 Sonnet, com o objectivo de automatizar acções repetitivas que, de outra forma, demorariam muito tempo a serem feitas manualmente.

A ferramenta funciona analisando capturas de ecrã e calculando os movimentos necessários para posicionar o ponteiro do rato nos locais correctos. No entanto, o sistema tem limitações. Como funciona através de capturas em vez de acesso em tempo real ao ecrã, pode não apanhar notificações que surjam brevemente no ecrã, ou alterações rápidas. Além disso, ainda não consegue realizar certas acções, como o "arrastar e largar".

Apesar destas limitações, a Anthropic tem grandes expectativas para a ferramenta, já testada por empresas como The Browser Company, Canva e Asana. Embora ainda em estado beta (o que hoje em dia praticamente se aplica a tudo, até mesmo aos supostos produtos "finais"), este controlador de cursor movido por AI poderá automatizar muitas tarefas, numa primeira fase funcionando quase como uma versão AI das velhas macros, mas inevitavelmente sendo aplicada em tarefas cada vez mais complexas.

Dito isto, e ao estilo do que acontece com os demais modelos AI, há que estar consciente de que existem os inevitáveis riscos. Tal como o ChatGPT e outros podem dar respostas totalmente erradas com total convicção de estarem correctas, também aqui teremos que considerar a possibilidade de, mesmo que com uma probabilidade incrivelmente reduzida, haverá sempre o risco do modelo AI decidiu alucinar e fazer algo como apagar alguma coisa importante, ou publicando coisas que não deveria. Por isso, ao estilo do FSD da Tesla, convém aplicar um pouco de "supervisão" humana, para poder reagir e evitar a potenciais surpresas desagradáveis. :)