Scraping do Google Maps com proxies funciona porque a parte difícil nunca foi o parsing — é servir cada requisição do lugar certo, no ritmo certo. Os resultados do Maps são geo-servidos, têm rate limit agressivo e detectam rápido padrões automatizados; um crawler ingênuo morre em minutos.

Como a coleta no Maps é estruturada

  • Busca em grade: dividir a cidade em células lat/lng e consultar cada uma — uma consulta só no centro perde toda a área do anel externo.
  • IPs residenciais geo-matched: sair perto da cidade-alvo para resultados, idioma e disponibilidade baterem com os usuários reais dali.
  • Colheita por place ID: resolver os place IDs uma vez e depois puxar avaliações, horários e horários de pico num ritmo mais lento.
  • Rate limiting: rajadas de um único IP morrem em minutos — o pacing é um insumo de design, não remendo.

Checklist de coleta

  1. Delimitar a cidade com precisão e gridear células de 1–2 km nas áreas densas.
  2. Obter IPs residenciais que geolocalizem dentro ou perto da cidade; uma sessão sticky por grupo de células.
  3. Atrasos aleatórios de 3–10 s entre consultas; uma grade completa leva horas.
  4. Deduplicar cedo por place ID, porque as células se sobrepõem.
  5. Fazer cache agressivo e recrawl semanal; confirmar IP de saída e país antes de cada rodada.

Comparativo rápido

  • Residencial geo-matched: resultados iguais aos dos locais, bloqueios raros com bom ritmo.
  • Datacenter: barato, mas os resultados desviam para a localização do servidor e bloqueios chegam no meio do crawl.
  • Sessões: sticky residencial por bairro mantém identidade estável; datacenter exige rotação constante.
  • A precisão é o ponto: 200 km de diferença mudam lista, ordem e até idioma.

Implementação em 4 passos

  1. Calcular a bounding box da cidade e cortar a grade com um script curto.
  2. Vincular uma sessão sticky a cada grupo de células.
  3. Consultar cada centro de célula com 3–10 s aleatórios e log por célula.
  4. Mesclar place IDs, deduplicar, cachear e agendar o recrawl delta para daqui a uma semana.

FAQ

Raspar o Google Maps é legal?

Depende da jurisdição, do método e do uso: coleta automatizada pode conflitar com os ToS do Google; prefira APIs oficiais quando atender, mantenha volumes modestos e verifique o direito de banco de dados local antes de escalar.

Qual ritmo funciona?

Padrão: 3–10 s aleatórios entre consultas, grade completa em horas; recue quando os erros subirem e nunca rode duas grades pesadas na mesma sessão sticky.

Proxies residenciais FTProxy com geo targeting por cidade alimentam exatamente esse tipo de pipeline — pilote uma cidade, prove a cobertura e replique nos demais mercados.