Scraping do Google Maps com proxies funciona porque a parte difícil nunca foi o parsing — é servir cada requisição do lugar certo, no ritmo certo. Os resultados do Maps são geo-servidos, têm rate limit agressivo e detectam rápido padrões automatizados; um crawler ingênuo morre em minutos.
Como a coleta no Maps é estruturada
- Busca em grade: dividir a cidade em células lat/lng e consultar cada uma — uma consulta só no centro perde toda a área do anel externo.
- IPs residenciais geo-matched: sair perto da cidade-alvo para resultados, idioma e disponibilidade baterem com os usuários reais dali.
- Colheita por place ID: resolver os place IDs uma vez e depois puxar avaliações, horários e horários de pico num ritmo mais lento.
- Rate limiting: rajadas de um único IP morrem em minutos — o pacing é um insumo de design, não remendo.
Checklist de coleta
- Delimitar a cidade com precisão e gridear células de 1–2 km nas áreas densas.
- Obter IPs residenciais que geolocalizem dentro ou perto da cidade; uma sessão sticky por grupo de células.
- Atrasos aleatórios de 3–10 s entre consultas; uma grade completa leva horas.
- Deduplicar cedo por place ID, porque as células se sobrepõem.
- Fazer cache agressivo e recrawl semanal; confirmar IP de saída e país antes de cada rodada.
Comparativo rápido
- Residencial geo-matched: resultados iguais aos dos locais, bloqueios raros com bom ritmo.
- Datacenter: barato, mas os resultados desviam para a localização do servidor e bloqueios chegam no meio do crawl.
- Sessões: sticky residencial por bairro mantém identidade estável; datacenter exige rotação constante.
- A precisão é o ponto: 200 km de diferença mudam lista, ordem e até idioma.
Implementação em 4 passos
- Calcular a bounding box da cidade e cortar a grade com um script curto.
- Vincular uma sessão sticky a cada grupo de células.
- Consultar cada centro de célula com 3–10 s aleatórios e log por célula.
- Mesclar place IDs, deduplicar, cachear e agendar o recrawl delta para daqui a uma semana.
FAQ
Raspar o Google Maps é legal?
Depende da jurisdição, do método e do uso: coleta automatizada pode conflitar com os ToS do Google; prefira APIs oficiais quando atender, mantenha volumes modestos e verifique o direito de banco de dados local antes de escalar.
Qual ritmo funciona?
Padrão: 3–10 s aleatórios entre consultas, grade completa em horas; recue quando os erros subirem e nunca rode duas grades pesadas na mesma sessão sticky.
Proxies residenciais FTProxy com geo targeting por cidade alimentam exatamente esse tipo de pipeline — pilote uma cidade, prove a cobertura e replique nos demais mercados.