Disfarça o teu browser de Googlebot para aceder a sites com paywall

Se já se depararam com sites que ao fim de algumas visitar começam a bloquear os conteúdos, há um truque curioso que poderá fazer com que o mesmo vos volte a abrir as portas.

Nalguns casos, bastará fazer a limpeza dos cookies para o site respectivo (normalmente sites noticiosos) para poderem ver mais algumas notícias; mas se não se importarem de ter um pouco mais de trabalho, a solução poderá passar por disfarçar o vosso browser de Googlebot.

O Googlebot é o crawler usado pela Google para pesquisar e indexar os conteúdos na web, e ao qual estes sites dão - por norma - acesso ilimitado (penso que os sites de notícias já perceberam que só têm a perder se quiserem esconder conteúdos do Google). Embora sejam informações que estão escondidas do utilizador, cada browser envia a sua identificação sempre que visita um site, e que permite ao site saber diversa informação sobre o browser e dispositivo utilizado - o truque consiste em dizer que o nosso browser é um Googlebot.

• Referrer: https://www.google.com/
• User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

Para o Firefox

Para os utilizadores de Firefox, será necessário instalar dois add-ons; o RefControl e o User Agent Switcher. Depois de instalados, terão que:

1. Ir Tools > RefControl Options.
2. Clicar em "add site", introduzir um nome de domínio para o site; seleccionar "custom action" e introduzir https://www.google.com/ como referrer.
3. Repetir para todos os sites que se desejem aceder (tendo em conta que não é garantido que esta táctica funcione em todos eles).
4. Fechar a janela de configuração.
5. Ir a Tools > Default User Agent > Edit User Agents.
6. Escolher New > User Agent, e substituir o texto no campo User Agent por:
   Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
   Dar.lhe o nome de Googlebot.
7. Sair do menu
8. Antes de aceder a estes sites, carregar no Alt, e seleccionar Default User Agent > Googlebot.

Para o Google Chrome

Para o Chrome o processo é idêntico, usando as extensões User Agent Switcher e Referer Control. No entanto, existe também uma possibilidade adicional, que pode ser um pouco mais complicada mas tem a vantagem de funcionar automaticamente para os sites desejados: a criação de uma extensão para o Chrome.

Felizmente, não é assim tão complicado como poderá parecer à primeira vista (especialmente para quem se sentir confortável com javascript) e há quem tenha explicado o processo completo de criação desta extensão, passo por passo, pelo que é só fazer copy-paste e seguir as instruções. (No final, até podem ficar inspirados para criarem novas extensões.)

O único detalhe é que para poderem usar uma extensão feita por vocês, terão que activar o "developer mode" no Chrome (em chrome://extensions/ ) e seleccionar "load unpacked extension" dizendo a pasta onde colocaram os ficheiros da extensão que criaram.