Sikuli: Pesquisa e Scripts por Imagens

Numa palavra: espectacular!
Este projecto Sikuli: Using GUI Screenshots for Search and Automation de Tom Yeh, Tsung-Hsiang Chang, e Robert C. Miller do MIT é simplesmente fabuloso.

Conhecem o ditado: uma imagem vale mil palavras? Pois este Sikuli baseia-se nisso para permitir substituir texto por imagens, quer para fazer pesquisas, quer para efeitos de automação e scripts.

No mundo gráfico em que vivemos, por vezes as palavras não são capazes de traduzir aquilo que queremos.
Daí que este Sikuli se descreva como:

We present Sikuli, a visual approach to search and automation of graphical user interfaces using screenshots. Sikuli allows users to take a screenshot of a GUI element (such as a toolbar button, icon, or dialog box) and query a help system using the screenshot instead of name.

Levando o conceito um pouco mais longe, o seu uso em scripts permite fazer coisas deste estilo:

Sikuli also provides a visual scripting API for automating GUI interactions, using screenshot patterns to direct mouse and keyboard events. We report a web-based user study showing that searching by screenshot is easy to learn and faster to specify than keywords.

Que permite realizar tarefas complexas com uma simplicidade sem precedentes - como podemos verificar neste exemplo que verifica se um bébé continua a dormir virado para cima.

Sem dúvida, algo a explorar no campo das ferramentas visuais: Sikuli!