Парсинг Google Maps с прокси работает потому, что сложность никогда не была в разборе данных — а в том, чтобы каждый запрос уходил из правильного места и в правильном темпе. Результаты Maps раздаются по гео, жестко лимитируются и чувствительны к автоматным паттернам, поэтому наивный краулер умирает за минуты.

Как устроен сбор данных Maps

  • Грид-поиск: город делится на ячейки lat/lng и опрашивается каждая — один запрос из центра пропускает всю кольцевую зону.
  • Гео-соответствующие резидентные IP: выход рядом с целевым городом, чтобы результаты, язык и доступность совпадали с местными пользователями.
  • Сбор деталей по place ID: place ID разрешаются один раз, затем отзывы, часы и часы пик добираются в медленном цикле.
  • Рейт-лимиты: одиночный IP-всплеск умирает за минуты — темп это вход проектирования, а не заплата потом.

Чек-лист сбора

  1. Точно определить границу города; плотные зоны гридить ячейками 1–2 км.
  2. Взять резидентные IP, геолокализующиеся в городе или рядом; одна sticky-сессия на кластер ячеек.
  3. Случайные паузы 3–10 секунд между запросами; полный грид идет часами.
  4. Рано дедуплицировать по place ID — ячейки перекрываются.
  5. Агрессивный кэш и еженедельный перекраул; перед каждым прогоном проверять выходной IP и страну.

Краткое сравнение

  • Гео-резидентные: результаты как у местных, блокировки редки при разумном темпе.
  • Датацентр: дешево, но результаты смещены к локации сервера, блокировки приходят посреди процесса.
  • Сессии: sticky-резидентные по району дают стабильную идентичность; датацентру нужна постоянная ротация.
  • Главное — точность: сдвиг в 200 км меняет список, порядок и даже язык выдачи.

Реализация за 4 шага

  1. Посчитать bounding box города и разрезать грид коротким скриптом.
  2. Привязать по sticky-сессии к каждому кластеру ячеек.
  3. Опросить центры ячеек с паузами 3–10 с и логом по каждой ячейке.
  4. Свести place ID, дедуплицировать, закэшировать и назначить дельта-перекраул через неделю.

FAQ

Легален ли парсинг Google Maps?

Зависит от юрисдикции, метода и использования: автоматический сбор может конфликтовать с ToS Google; безопасная позиция — официальные API там, где их хватает, скромные объемы и проверка местных прав на базы данных перед масштабированием.

Какой темп лучше?

По умолчанию случайные 3–10 с между запросами, полный грид за часы; при росте ошибок отступайте и не гоните два тяжелых грида через одну sticky-сессию.

Резидентные прокси FTProxy с гео-таргетингом до уровня города созданы для таких пайплайнов — пилот на одном городе, затем шаблон на все рынки.